Statistiken und Big Data

4

Wie wird eine PCA für Daten mit sehr hoher Dimensionalität durchgeführt?

Um eine Hauptkomponentenanalyse (PCA) durchzuführen, müssen Sie die Mittelwerte jeder Spalte von den Daten subtrahieren, die Korrelationskoeffizientenmatrix berechnen und dann die Eigenvektoren und Eigenwerte finden. Nun, vielmehr habe ich dies getan, um es in Python zu implementieren, außer dass es nur mit kleinen Matrizen funktioniert, da die Methode zum Ermitteln …

12 pca python

5

Kann die Standardabweichung für das harmonische Mittel berechnet werden?

Kann die Standardabweichung für das harmonische Mittel berechnet werden? Ich verstehe, dass die Standardabweichung für das arithmetische Mittel berechnet werden kann, aber wenn Sie ein harmonisches Mittel haben, wie berechnen Sie die Standardabweichung oder den CV?

12 standard-deviation harmonic-mean

1

Sollte eine SVM-Rastersuche einen Bereich mit hoher Genauigkeit und geringer Genauigkeit anzeigen?

Ich habe 12 positive Trainingssätze (Krebszellen, die mit Medikamenten mit jeweils 12 verschiedenen Wirkmechanismen behandelt wurden). Für jeden dieser positiven Trainingssätze möchte ich eine Support-Vektor-Maschine trainieren, um sie von einem negativen Satz gleicher Größe zu unterscheiden, der aus dem Experiment entnommen wurde. Jeder Satz hat zwischen 1000 und 6000 Zellen, …

12 svm

4

Wie man viele 10er-Proben aus einer großen Liste entnimmt, ohne sie insgesamt zu ersetzen

Ich habe einen großen Datensatz (20.000 Datenpunkte), aus dem ich wiederholt Stichproben von 10 Datenpunkten entnehmen möchte. Sobald ich diese 10 Datenpunkte ausgewählt habe, möchte ich, dass sie nicht erneut ausgewählt werden. Ich habe versucht, die sampleFunktion zu verwenden, aber es scheint keine Option zu geben, über mehrere Aufrufe der …

12 r sample

3

Warum einen verzögerten DV als Instrumentenvariable verwenden?

Ich habe einen Datenanalysecode geerbt, den ich als Ökonometriker nur schwer verstehen kann. Ein Modell führt eine Regression instrumenteller Variablen mit dem folgenden Befehl Stata aus ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) Dieser Datensatz ist ein Panel mit mehreren aufeinander folgenden Beobachtungen für diesen Satz von …

12 regression stata instrumental-variables

2

Wo finde ich gute Statistik-Quiz?

Bitte einführend, fortgeschritten und sogar dunkel. Meistens um mich selbst zu testen. Ich möchte sicherstellen, dass ich weiß, wovon zum Teufel ich spreche :) Vielen Dank

12 teaching

3

Wie kann ich testen, ob mein Clustering von Binärdaten signifikant ist?

Ich mache Warenkorbanalysen. Mein Datensatz besteht aus Transaktionsvektoren mit den Artikeln, die die Produkte gekauft haben. Wenn ich k-means auf die Transaktionen anwende, erhalte ich immer ein Ergebnis. Eine Zufallsmatrix würde wahrscheinlich auch einige Cluster zeigen. Gibt es eine Möglichkeit zu testen, ob die Clusterbildung, die ich finde, signifikant ist, …

12 clustering statistical-significance binary-data

1

Wie finde ich die Stichprobenpunkte, die statistisch bedeutsame große Ausreißerverhältnisse zwischen zwei Punktwerten aufweisen?

Berücksichtigen Sie als Beispielanwendung die folgenden zwei Eigenschaften von Stack Overflow-Benutzern: Anzahl der Reputations- und Profilansichten . Es wird erwartet, dass diese beiden Werte für die meisten Benutzer proportional sind: Benutzer mit hohen Wiederholungszahlen ziehen mehr Aufmerksamkeit auf sich und erhalten daher mehr Profilansichten. Daher ist es interessant, nach Benutzern …

12 ratio

1

Was zeigt das Autokorrelationsdiagramm (Pandas)?

Ich bin ein Anfänger und versuche zu verstehen, was ein Autokorrelationsdiagramm zeigt. Ich habe mehrere Erklärungen aus verschiedenen Quellen wie dieser Seite oder der zugehörigen Wikipedia-Seite gelesen , die ich hier nicht zitiere. Ich habe diesen sehr einfachen Code, in dem ich Daten für ein Jahr in meinem Index habe …

12 python autocorrelation pandas

1

Ein Laien, das den Unterschied zwischen der Einstellung der Hintertür und der Vordertür versteht

Ich beziehe mich auf die Hintertür Verstellung und Front-Tür Einstellung hier : Anpassung der Hintertür : Das archetypische epidemiologische Problem in der Statistik besteht darin, die Wirkung eines gemessenen Confounders anzupassen. Das Hintertürkriterium von Pearl verallgemeinert diese Idee. Anpassung der Haustür : Wenn einige Variablen nicht beobachtet werden, müssen wir …

12 causality dag

2

Wie tief ist der Zusammenhang zwischen der Softmax-Funktion in ML und der Boltzmann-Verteilung in der Thermodynamik?

Die Softmax-Funktion, die üblicherweise in neuronalen Netzen verwendet wird, um reelle Zahlen in Wahrscheinlichkeiten umzuwandeln, ist dieselbe Funktion wie die Boltzmann-Verteilung, die Wahrscheinlichkeitsverteilung über Energien für ein Ensemble von Partikeln im thermischen Gleichgewicht bei einer gegebenen Temperatur T in der Thermodynamik. Ich kann einige klare heuristische Gründe erkennen, warum dies …

12 machine-learning neural-networks softmax

2

Warum verwenden wir kein gewichtetes arithmetisches Mittel anstelle eines harmonischen Mittels?

Ich frage mich, was ist ein innerer Wert der Verwendung des harmonischen Mittelwerts (zum Beispiel zur Berechnung von F-Maßen) im Gegensatz zum gewichteten arithmetischen Mittelwert bei der Kombination von Präzision und Erinnerung? Ich denke, dass der gewichtete arithmetische Durchschnitt die Rolle des harmonischen Mittelwerts spielen könnte, oder fehlt mir etwas?

12 machine-learning monte-carlo precision-recall harmonic-mean

2

Was bedeutet Kernelgröße?

Was meinen die Leute, wenn sie über neuronale Netze sprechen, wenn sie "Kernelgröße" sagen? Kernel sind Ähnlichkeitsfunktionen, aber was sagt das über die Kernelgröße aus?

12 machine-learning neural-networks

4

Wie bedeutsam ist der Zusammenhang zwischen MLE und Kreuzentropie beim tiefen Lernen?

Ich verstehe, dass bei einer Reihe von unabhängigen Beobachtungen der Maximum Likelihood Estimator (oder äquivalent der MAP mit flachem / einheitlichem Prior), der die Parameter \ mathbf {θ} identifiziert , die die Modellverteilung p_ {model} \ erzeugen links (\, \ cdot \ ,; \ mathbf {θ} \ rechts) , die …

12 maximum-likelihood deep-learning cross-entropy

3

Wie identifiziert ACF & PACF die Reihenfolge der MA- und AR-Begriffe?

Es ist mehr als 2 Jahre her, dass ich an verschiedenen Zeitreihen arbeite. Ich habe in vielen Artikeln gelesen, dass ACF verwendet wird, um die Reihenfolge der MA-Begriffe und PACF für AR zu identifizieren. Es gibt eine Faustregel, dass für MA die Verzögerung, bei der ACF plötzlich abschaltet, in der …

12 time-series arima autoregressive moving-average