Statistiken und Big Data

2

Wie macht es Sinn, OLS nach der LASSO-Variablenauswahl durchzuführen?

Kürzlich habe ich festgestellt, dass es in der angewandten ökonometrischen Literatur nicht ungewöhnlich ist, LASSO durchzuführen, gefolgt von einer OLS-Regression unter Verwendung der ausgewählten Variablen. Ich habe mich gefragt, wie wir die Gültigkeit eines solchen Verfahrens beurteilen können. Wird es Probleme wie ausgelassene Variablen verursachen? Gibt es Beweise dafür, dass …

20 regression feature-selection econometrics least-squares lasso

2

PCA in Numpy und Sklearn führt zu unterschiedlichen Ergebnissen

Verstehe ich etwas falsch? Das ist mein Code mit sklearn import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets from sklearn.preprocessing import StandardScaler pca = decomposition.PCA(n_components=3) x = np.array([ [0.387,4878, 5.42], [0.723,12104,5.25], [1,12756,5.52], [1.524,6787,3.94], ]) pca.fit_transform(x) Ausgabe: array([[ -4.25324997e+03, …

20 pca python scikit-learn

2

Von der Gleichverteilung zur Exponentialverteilung und umgekehrt

Dies ist wahrscheinlich eine triviale Frage, aber meine Suche war bisher erfolglos, einschließlich dieses Wikipedia-Artikels und des Dokuments "Compendium of Distributions" . Wenn eine gleichmäßige Verteilung hat, bedeutet dies, dass einer Exponentialverteilung folgt?e XXXXeXeXe^X Wenn einer Exponentialverteilung folgt, heißt das dann, dass einer gleichmäßigen Verteilung folgt?l n ( Y )Y.Y.Yl …

20 distributions data-transformation exponential uniform

2

Was in einem Namen steckt: Präzision (Inverse der Varianz)

Der Mittelwert ist intuitiv nur der Durchschnitt der Beobachtungen. Die Varianz ist, wie stark diese Beobachtungen vom Mittelwert abweichen. Ich möchte wissen, warum die Umkehrung der Varianz als Präzision bekannt ist. Welche Intuition können wir daraus ziehen? Und warum ist die Präzisionsmatrix in der multivariaten (Normal-) Verteilung so nützlich wie …

20 normal-distribution multivariate-analysis terminology intuition

2

Warum sollten Sie in neuronalen Netzen Gradientenmethoden anstelle anderer Metaheuristiken verwenden?

Warum werden beim Training tiefer und flacher neuronaler Netze im Gegensatz zu anderen Metaheuristiken häufig Gradientenmethoden (z. B. Gradientenabstieg, Nesterov, Newton-Raphson) verwendet? Mit Metaheuristik meine ich Methoden wie simuliertes Tempern, Optimierung von Ameisenkolonien usw., die entwickelt wurden, um zu vermeiden, dass sie in einem lokalen Minimum hängen bleiben.

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Verständnis der Bias-Varianz-Kompromissableitung

Ich lese gerade das Kapitel über den Kompromiss zwischen Bias-Varianz und den Elementen des statistischen Lernens und bezweifle, dass die Formel auf Seite 29 basiert. Die Daten ergeben sich aus einem Modell, bei dem wobei zufällig ist Zahl mit dem erwarteten Wert und Varianz . Der erwartete Fehlerwert des Modells …

20 machine-learning unbiased-estimator mse bias-variance-tradeoff

2

Residuendiagramme: Warum Diagramm gegen angepasste Werte, nicht beobachtete Werte?

Im Zusammenhang mit der OLS-Regression verstehe ich, dass ein Residuendiagramm (gegen angepasste Werte) herkömmlicherweise betrachtet wird, um auf konstante Varianz zu testen und die Modellspezifikation zu bewerten. Warum werden die Residuen gegen die Anpassungen und nicht gegen die Werte aufgetragen ? Inwiefern unterscheiden sich die Informationen von diesen beiden Darstellungen?Y.Y.Y …

20 regression residuals

4

Clustering einer Korrelationsmatrix

Ich habe eine Korrelationsmatrix, die angibt, wie jedes Objekt mit dem anderen Objekt korreliert ist. Daher habe ich für N Elemente bereits eine N * N Korrelationsmatrix. Wie gruppiere ich mit dieser Korrelationsmatrix die N Elemente in M Fächern, damit ich sagen kann, dass sich die Nk Elemente im k-ten …

20 clustering python k-means

3

Warum ist im Bayes-Theorem ein Normalisierungsfaktor erforderlich?

Der Bayes-Satz P(model|data)=P(model)×P(data|model)P(data)P(model|data)=P(model)×P(data|model)P(data) P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})} Das ist alles in Ordnung. Aber ich habe irgendwo gelesen: Grundsätzlich ist P (Daten) nichts anderes als eine Normalisierungskonstante, dh eine Konstante, die die posteriore Dichte zu eins integriert. Wir wissen, dass und . 0 ≤ P ( Daten | Modell ) …

20 probability bayesian conditional-probability bayes

4

"Die Gesamtfläche unter einer Wahrscheinlichkeitsdichtefunktion ist 1" - relativ zu was?

Konzeptionell verstehe ich die Bedeutung des Ausdrucks "die Gesamtfläche unter einem PDF ist 1". Es sollte bedeuten, dass die Wahrscheinlichkeit, dass sich das Ergebnis im gesamten Intervall der Möglichkeiten befindet, 100% beträgt. Aber ich kann es vom "geometrischen" Standpunkt aus nicht wirklich verstehen. Wenn zum Beispiel in einem PDF die …

20 probability pdf integral

2

Wahl zwischen Test und Test

Hintergrund: Ich präsentiere Kollegen bei der Arbeit am Testen von Hypothesen und verstehe das meiste in Ordnung, aber es gibt einen Aspekt, den ich zu verstehen und anderen zu erklären versuche. Dies ist, was ich glaube zu wissen (bitte korrigieren, wenn falsch!) Statistiken, die normal wären, wenn die Varianz bekannt …

20 hypothesis-testing normal-distribution t-test assumptions z-test

2

Angeben eines Unterschiedsmodells mit mehreren Zeiträumen

Wenn ich ein Differenzmodell mit zwei Zeiträumen schätze, wäre das äquivalente Regressionsmodell ein. Y.ich s t= α + γs∗ Tr e a t m e n t + λ dt+ δ∗ ( TR e ein t m e n t * dt) + ϵich s tY.ichst=α+γs∗Treeintment+λdt+δ∗(Treeintment∗dt)+ϵichstY_{ist} = \alpha +\gamma_s*Treatment + …

20 regression modeling econometrics panel-data difference-in-difference

2

Funktioniert der Caret Train für glmnet für Alpha und Lambda?

Kann das R- caretPaket sowohl für das Modell alphaals auch lambdafür das glmnetModell eine Kreuzvalidierung durchführen? Diesen Code ausführen, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid …

20 r machine-learning cross-validation caret glmnet

4

Generieren von Zufallsvariablen aus einer Mischung von Normalverteilungen

Wie kann ich aus einer Mischungsverteilung und insbesondere einer Mischung von Normalverteilungen in probieren R? Zum Beispiel, wenn ich probieren wollte aus: 0,3× N( 0 , 1 )+0,5× N( 10 , 1 )+0,2× N( 3 , .1 )0.3×N(0,1)+0.5×N(10,1)+0.2×N(3,.1) 0.3\!\times\mathcal{N}(0,1)\; + \;0.5\!\times\mathcal{N}(10,1)\; + \;0.2\!\times\mathcal{N}(3,.1) wie könnte ich das machen

20 r random-generation mixture

3

Schonenderer Zugang zur Bayes'schen Statistik

Ich habe kürzlich angefangen, "Introduction to Bayesian Statistics" (Einführung in die Bayes'sche Statistik), 2. Ausgabe von Bolstad, zu lesen. Ich hatte eine Einführungs-Statistik-Klasse, die hauptsächlich statistische Tests abdeckte und fast durch eine Klasse in Regressionsanalyse geht. Welche anderen Bücher kann ich verwenden, um mein Verständnis dieses zu ergänzen? Ich habe …

20 hypothesis-testing bayesian