Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

4
Passgenauigkeit für sehr große Stichproben
Ich sammle jeden Tag sehr große Stichproben (> 1.000.000) von kategorialen Daten und möchte, dass die Daten zwischen den Tagen "signifikant" unterschiedlich aussehen, um Fehler bei der Datenerfassung zu erkennen. Ich dachte, ein guter Fit-Test (insbesondere ein G-Test) wäre eine gute Passform (Wortspiel beabsichtigt) dafür. Die erwartete Verteilung ergibt sich …
1
Gibt es ein Problem mit Multikollinearität und Splines-Regression?
Bei Verwendung natürlicher (dh eingeschränkter) kubischer Splines sind die erzeugten Basisfunktionen hochgradig kollinear, und bei Verwendung in einer Regression scheinen sich sehr hohe VIF-Statistiken (Varianzinflationsfaktor) zu ergeben, die Multikollinearität signalisieren. Wenn man den Fall eines Modells für Vorhersagezwecke in Betracht zieht, ist dies ein Problem? Es scheint, als ob dies …
2
Welche Statistiken werden unter Aggregation aufbewahrt?
Wenn wir über lange Zeitreihen mit hoher Auflösung und viel Rauschen verfügen, ist es oft sinnvoll, die Daten zu einer niedrigeren Auflösung zu aggregieren (z. B. tägliche bis monatliche Werte), um ein besseres Verständnis der Vorgänge zu erhalten und einige davon effektiv zu entfernen der Lärm. Ich habe mindestens eine …
1
Rückschluss auf feste Effekte in einem Mixed-Effects-Modell
Ich habe Daten korreliert und verwende ein logistisches Regressionsmischeffektmodell, um den individuellen (bedingten) Effekt für einen interessierenden Prädiktor abzuschätzen. Ich weiß, dass bei Standard-Marginalmodellen die Rückschlüsse auf Modellparameter unter Verwendung des Wald-Tests für die Wahrscheinlichkeitsrate und die Score-Tests konsistent sind. Sie sind normalerweise ungefähr gleich. Da der Wald einfach zu …
1
Gibt es einen besseren Namen als "Durchschnitt des Integrals"?
Ich teste die von meinem Unternehmen verkauften Drosselklappen-Positionssensoren (TPS) und drucke die Aufzeichnung der Spannungsantwort auf die Drehung der Drosselklappenwelle. Ein TPS ist ein Rotationssensor mit einer Reichweite von 90 ° und der Ausgang entspricht einem Potentiometer mit einer vollständigen Öffnung von 5 V (oder dem Eingangswert des Sensors) und …
4
Wert, der die Standardabweichung erhöht
Die folgende Aussage verwirrt mich: "Um die Standardabweichung einer Reihe von Zahlen zu erhöhen, müssen Sie einen Wert hinzufügen, der mehr als eine Standardabweichung vom Mittelwert entfernt ist." Was ist der Beweis dafür ? Ich weiß natürlich, wie wir die Standardabweichung definieren, aber dieser Teil scheint mir irgendwie zu fehlen. …
1
Beispiel der strengen von Neumann-Ungleichung
Sei r(π,δ)r(π,δ)r(\pi, \delta) das Bayes-Risiko eines Schätzers δδ\delta in Bezug auf ein vorheriges , sei die Menge aller Prioren auf dem Parameterraum und seiΠ Θ Δππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta die Menge aller (möglicherweise) randomisierte) Entscheidungsregeln. Die statistische Interpretation von John von Neumanns Minimax-Ungleichung besagt dies supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, …
1
Verwirrung um lmer und p-Werte: Wie vergleichen sich p-Werte aus dem memisc-Paket mit denen aus der MCMC?
Ich hatte den Eindruck, dass die Funktion lmer()im lme4Paket keine p-Werte erzeugt (siehe lmer, p-Werte und so weiter) ). Ich habe stattdessen MCMC-generierte p-Werte wie folgt verwendet: Signifikanter Effekt im lme4gemischten Modell und diese Frage: In der Ausgabe von lmer()im lm4Paket in können keine p-Werte gefunden werdenR . Vor kurzem …
2
Wenn ein parametrischer Test nicht null zurückweist, macht seine nichtparametrische Alternative dasselbe?
Wenn angenommen wird, dass nichtparametrische Tests weniger Leistung haben als ihre parametrischen Alternativen, bedeutet dies, dass wenn ein parametrischer Test nicht null zurückweist, seine nichtparametrische Alternative auch nicht null zurückweist? Wie kann sich dies ändern, wenn die Annahmen des parametrischen Tests nicht erfüllt sind und der Test trotzdem verwendet wird?
2
Wie wende ich neuronale Netze bei Problemen mit der Mehrfachmarkenklassifizierung an?
Beschreibung: Die Problemdomäne sei die Dokumentklassifikation, wenn eine Menge von Merkmalsvektoren existiert, die jeweils zu einer oder mehreren Klassen gehören. Beispielsweise doc_1könnte ein Dokument zu gehörenSports und EnglishKategorien gehören. Frage: Was wäre die Bezeichnung für einen Merkmalsvektor, wenn Sie das neuronale Netz für die Klassifizierung verwenden? Wäre es ein Vektor, …
2
Binäre Modelle (Probit und Logit) mit einem logarithmischen Offset
Hat jemand eine Ableitung, wie ein Offset in binären Modellen wie probit und logit funktioniert? Bei meinem Problem kann das Nachverfolgungsfenster unterschiedlich lang sein. Angenommen, die Patienten erhalten zur Behandlung eine prophylaktische Spritze. Die Aufnahme erfolgt zu unterschiedlichen Zeiten. Wenn das Ergebnis also ein binärer Indikator dafür ist, ob es …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.