Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Wie funktioniert die Kreuzvalidierung im Zug (Caret) genau?
Ich habe eine ganze Reihe von Beiträgen zum Caret- Paket gelesen und interessiere mich speziell für die Zugfunktion . Ich bin mir jedoch nicht ganz sicher, ob ich richtig verstanden habe, wie die Zugfunktion funktioniert. Um meine aktuellen Gedanken zu veranschaulichen, habe ich ein kurzes Beispiel zusammengestellt. Zunächst wird ein …
3
Intuition der Bayes'schen Normalisierungskonstante
Bei dem häufig erwähnten Mammographie-Screening-Problem mit einer Screening-Wahrscheinlichkeit von 80%, einem Prior von 10% und einer falsch-positiven Rate von 50% oder seinen Varianten ist es leicht zu erklären, dass die bedingte hintere Wahrscheinlichkeit, dass ein positives Screening auf Krebs hinweist vorhanden ist nur 15%. Dies lässt sich am einfachsten anhand …
2
Berechnung der Emissionswahrscheinlichkeitswerte für das Hidden Markov Model (HMM)
Ich bin neu in HMM und lerne noch. Ich verwende derzeit HMM, um einen Teil der Sprache zu markieren. Um den Viterbi-Algorithmus zu implementieren, benötige ich Übergangswahrscheinlichkeiten ( ) und Emissionswahrscheinlichkeiten ( b_i (o) ).ai,jai,j a_{i,j} \newcommand{\Count}{\text{Count}}bi(o)bi(o) b_i(o) Ich generiere Werte für diese Wahrscheinlichkeiten mithilfe einer überwachten Lernmethode, bei der …
2
Was ist der Unterschied zwischen stochastischem Regressor und nichtstochastischem Regressor bei der linearen Regression?
Angenommen , die Regressionsspezifikation ist egal stochastischen ist oder nicht, müssen wir die Annahme , dass ist für alle gleich verteilt . Wenn jedoch eher eine stochastische Zufallsvariable als ein fester Wert ist, ist eine andere Annahme erforderlich, nämlich, dass der Störungsterm keine bedingte Erwartung hat; Mit anderen Worten, wird …
2
Vergleichen Sie das MLR-Modell mit dem Modell
Wenn ich theoretische Gründe habe anzunehmen, dass die Daten mit einer ungewöhnlichen Gleichung wie der folgenden übereinstimmen könnten: Y.ich= (β0+β1x1 i+β2x2 i+ϵich)β3Yi=(β0+β1x1i+β2x2i+ϵi)β3Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3} Kann ich nach einer Transformation die multiple lineare Regression der gewöhnlichen kleinsten Quadrate verwenden, um die Parameter zu schätzen ? …
3
Interpolieren von gruppierten Daten, sodass der Bin-Durchschnitt erhalten bleibt
Angenommen, ich habe diese gruppierten Daten als Eingabe. Der Durchschnittswert wird für jedes aufeinanderfolgende Intervall angegeben. Nehmen wir zur Vereinfachung an, dass die Abtastdichte in jedem Bin einheitlich ist.y¯ichy¯i\bar{y}_iΔxichΔxi\Delta x_i Jetzt möchte ich die zugrunde liegende Funktion ( ) schätzen, dh ich möchte in der Lage sein, vernünftige Schätzungen von …
1
Ein Name für bedienerabhängiges Kreuzprodukt
Angenommen, wir haben eine n×pn×p\\n\times p Matrix MM\mathbf{M}. Unterschiedliche Transformationen mit unterschiedlichen spaltenweisen Operatoren können zu neuen führenp×pp×p\\p\times p symmetrische Matrix . Zum Beispiel kann die Kovarianzmatrix unter Verwendung des Punktproduktoperators berechnet werden , wobei jeder Wert der Kovarianzmatrix das Punktprodukt zweier Spalten der ursprünglichen Matrix (geteilt durch ) ist. …
1
Was tun, wenn eine lineare Regression negative Schätzungen liefert, die nicht möglich sind?
Ich verwende lineare Regression, um Werte zu schätzen, die in Wirklichkeit immer nicht negativ sind. Die Prädiktorvariablen sind ebenfalls nicht negativ. Zum Beispiel die Anzahl der Bildungsjahre und das Alter zurückführen, um das Gehalt vorherzusagen. Alle Variablen sind in diesem Fall immer nicht negativ. Aufgrund des negativen Abschnitts führt mein …
2
Nichtstationäre Lösungen für stationäre ARMA-Gleichungen
Mit "stationär" meine ich "schwach stationär". Betrachten Sie eine "stationäre" AR (1) -Gleichung: Xt=φXt−1+εt,Xt=φXt−1+εt,X_t=\varphi X_{t-1}+\varepsilon_t, wobei diskrete Zeitmomente sind, ein null-mittleres weißes Rauschen (nur eine iid-Sequenz), . Es ist bekannt, dass es eine stationäre Lösung gibt (dh eine diskrete Zeitreihe, die die Gleichung erfüllt). Bezeichne es mitWir können jedoch eine …
1
Wie ist die Box-Cox-Transformation gültig?
Die Box-Cox-Transformation wandelt unsere Daten in eine Normalverteilung um. Wie ist das überhaupt eine richtige Technik? Was wäre, wenn unsere Daten nicht aus einer Normalverteilung stammen würden? Wie könnte jemand die Box-Cox-Transformation einfach blind anwenden? Um es noch einmal auszudrücken: Warum die Box-Cox-Transformation anwenden, wenn unsere Daten nicht normal verteilt …
1
Unterschied zwischen linearem Modell und linearer Regression
Ich interessiere mich für den Unterschied zwischen einer linearen Regression und einem linearen Modell. Nach meinem Verständnis gehört die lineare Regression zu einer größeren Familie linearer Modelle, aber beide Begriffe werden häufig als Synonyme verwendet. Nun wurde mir vorgeschlagen, eine Regressionsanalyse durch ein lineares Modell zu ersetzen, um die Annahmen …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.