Statistiken und Big Data

1

R-Quadrat im linearen Modell versus Abweichung im verallgemeinerten linearen Modell?

Hier ist mein Kontext für diese Frage: Soweit ich weiß, können wir keine gewöhnliche Regression der kleinsten Quadrate in R ausführen, wenn wir gewichtete Daten und das surveyPaket verwenden. Hier müssen wir verwenden svyglm(), die stattdessen ein verallgemeinertes lineares Modell ausführt (was das gleiche sein kann? Ich bin hier in …

13 r generalized-linear-model least-squares r-squared deviance

3

Die Summe zweier unabhängiger Gamma-Zufallsvariablen

Laut Wikipedia-Artikel über die Gamma-Verteilung : Wenn X∼Gamma(a,θ)X∼Gamma(a,θ)X\sim\mathrm{Gamma}(a,\theta) und Y∼Gamma(b,θ)Y∼Gamma(b,θ)Y\sim\mathrm{Gamma}(b,\theta) , wobei XXX und YYY unabhängige Zufallsvariablen, dann X+Y∼Gamma(a+b,θ)X+Y∼Gamma(a+b,θ)X+Y\sim \mathrm{Gamma}(a+b, \theta) . Aber ich sehe keinen Beweis. Kann mich bitte jemand auf seinen Beweis hinweisen? Edit: Vielen Dank an Zen, und auch ich fand die Antwort als Beispiel auf der …

13 probability pdf gamma-distribution

3

F-Statistik, F-kritischer Wert und P-Wert

Ich bin sehr neu in diesem Bereich und habe Schwierigkeiten, das Konzept der Zurückweisung der Nullhypothese auf der Grundlage der Ergebnisse aus der ANOVA-Tabelle zu verstehen. In welcher Beziehung stehen das berechnete F und der kritische Wert zum p-Wert? Und wenn das berechnete F größer als 1 ist, bedeutet dies …

13 anova

2

Effektive Probengröße für Rückschlüsse aus der MCMC-Probenahme

Was sind gute Anhaltspunkte für die minimale Anzahl effektiver Proben , die angestrebt werden sollten, wenn MCMC-Proben abgerufen werden, um Rückschlüsse auf einen bestimmten Parameter zu ziehen? Und ändert sich dieser Ratschlag, wenn das Modell mehr oder weniger komplex wird?

13 bayesian sample-size mcmc posterior

2

Was ist los mit Autokorrelation?

Um das vorwegzunehmen, ich habe einen ziemlich tiefen mathematischen Hintergrund, aber ich habe mich nie wirklich mit Zeitreihen oder statistischer Modellierung beschäftigt. Also musst du nicht sehr sanft zu mir sein :) Ich lese dieses Papier über die Modellierung des Energieverbrauchs in Gewerbegebäuden, und der Autor behauptet: [Das Vorhandensein von …

13 time-series autocorrelation

1

Verstehen der Vorhersagen aus der logistischen Regression

Meine Vorhersagen aus einem logistischen Regressionsmodell (glm in R) sind nicht wie erwartet zwischen 0 und 1 begrenzt. Mein Verständnis der logistischen Regression ist, dass Ihre Eingabe- und Modellparameter linear kombiniert werden und die Antwort mithilfe der Logit-Link-Funktion in eine Wahrscheinlichkeit umgewandelt wird. Da die Logit-Funktion zwischen 0 und 1 …

13 r regression logistic generalized-linear-model

2

Sollte eine SVD für eine Zufallsmatrix überhaupt nichts erklären? Was mache ich falsch?

Wenn ich eine 2-D-Matrix konstruiere, die vollständig aus Zufallsdaten besteht, würde ich erwarten, dass die PCA- und SVD-Komponenten im Wesentlichen nichts erklären. Stattdessen scheint die erste SVD-Spalte 75% der Daten zu erklären. Wie kann das möglich sein? Was mache ich falsch? Hier ist die Handlung: Hier ist der R-Code: set.seed(1) …

13 r pca svd

1

AIC / BIC: Wie viele Parameter zählt eine Permutation?

Angenommen, ich habe ein Modellauswahlproblem und versuche, die Modelle mit AIC oder BIC zu bewerten. Dies ist unkompliziert für Modelle mit der Nummer kkk reellwertigen Parametern. Was ist jedoch, wenn eines unserer Modelle (z. B. das Mallows-Modell ) eine Permutation plus einige reelle Parameter anstelle von reellen Parametern aufweist? Ich …

13 modeling maximum-likelihood aic fitting bic

1

Algebra der LDA. Fisher Diskriminanzstärke einer variablen und linearen Diskriminanzanalyse

Offenbar, Die Fisher-Analyse zielt darauf ab, gleichzeitig die Trennung zwischen den Klassen zu maximieren und gleichzeitig die Streuung innerhalb der Klassen zu minimieren. Ein nützliches Maß für das Unterscheidungsvermögen einer Variablen ist daher die Diagonalengröße: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Ich verstehe, dass die Größe ( p x p) der Matrizen zwischen …

13 algorithms dimensionality-reduction discriminant-analysis sums-of-squares

2

Wie weit bringt mich das Selbststudium?

Ich habe noch nie an einem offiziellen oder strukturierten Kurs zur Datenanalyse oder zum maschinellen Lernen (mit Ausnahme der neuesten Online-Angebote) teilgenommen und das meiste gelernt, was ich aus dem Lesen und Ausprobieren weiß. Ich weiß, dass ich weit davon entfernt bin, einen Job zu bekommen. Meine Frage ist nicht, …

13 machine-learning data-mining careers

1

Techniken zum Analysieren von Verhältnissen

Ich bin auf der Suche nach Ratschlägen und Kommentaren, die sich mit der Analyse von Verhältnissen und Quoten befassen. In dem Bereich, in dem ich vor allem mit der Analyse von Verhältnissen befasst bin, ist dies weit verbreitet, aber ich habe einige Artikel gelesen, die darauf hindeuten, dass dies problematisch …

13 modeling multiple-regression generalized-linear-model interaction confounding

3

PCA zu hochdimensionalen Textdaten vor der zufälligen Waldklassifikation?

Ist es sinnvoll, PCA durchzuführen, bevor eine zufällige Waldklassifizierung durchgeführt wird? Ich habe es mit hochdimensionalen Textdaten zu tun, und ich möchte eine Feature-Reduzierung durchführen, um den Fluch der Dimensionalität zu vermeiden. Ist Random Forests nicht bereits auf eine Art von Dimensionsreduzierung eingestellt?

13 classification pca random-forest dimensionality-reduction high-dimensional

4

Umgang mit Krawatten, Gewichten und Abstimmungen in kNN

Ich programmiere einen kNN-Algorithmus und möchte Folgendes wissen: Unentschieden: Was passiert, wenn bei der Mehrheitsabstimmung kein eindeutiger Gewinner feststeht? ZB sind alle k nächsten Nachbarn aus verschiedenen Klassen, oder für k = 4 gibt es 2 Nachbarn aus Klasse A und 2 Nachbarn aus Klasse B? Was passiert, wenn es …

13 k-nearest-neighbour weights ties

2

Mathematik hinter Klassifikations- und Regressionsbäumen

Kann jemand helfen, einige der Mathematik hinter der Klassifizierung in CART zu erklären? Ich möchte verstehen, wie zwei Hauptphasen ablaufen. Zum Beispiel habe ich einen CART-Klassifikator für ein Dataset trainiert und ein Test-Dataset verwendet, um die prädiktive Leistung zu kennzeichnen, aber: Wie wird die ursprüngliche Wurzel des Baumes gewählt? Warum …

13 regression classification data-mining cart

2

Var (X) ist bekannt, wie wird Var (1 / X) berechnet?

Wenn ich nur Var(X)Var(X)\mathrm{Var}(X) , wie kann ich berechnen Var(1X)Var(1X)\mathrm{Var}(\frac{1}{X})? Ich habe keine Informationen über die Verteilung von XXX , daher kann ich keine Transformation oder andere Methoden verwenden, die die Wahrscheinlichkeitsverteilung von XXX .

13 distributions variance data-transformation