Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Warum wird die Bayesianische Statistik zu einem immer beliebteren Forschungsthema? [geschlossen]
Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie durch Bearbeiten dieses Beitrags mit Fakten und Zitaten beantwortet werden kann . Geschlossen im vergangenen Jahr . Beim Durchsuchen des Forschungsbereichs der 100 besten US-Nachrichtenstatistikprogramme sind …

1
Haben stochastische Prozesse wie der Gaußsche Prozess / Dirichlet-Prozess Dichten? Wenn nicht, wie kann die Bayes-Regel auf sie angewendet werden?
Der Dirichlet-Prozess und der Gauß-Prozess werden oft als "Verteilungen über Funktionen" oder "Verteilungen über Verteilungen" bezeichnet. Kann ich in diesem Fall sinnvoll über die Dichte einer Funktion unter einem Hausarzt sprechen? Das heißt, haben der Gaußsche Prozess oder der Dirichlet-Prozess eine Vorstellung von einer Wahrscheinlichkeitsdichte? Wenn dies nicht der Fall …

2
Minimale Stichprobengröße pro Cluster in einem Zufallseffektmodell
Gibt es einen Grund für die Anzahl der Beobachtungen pro Cluster in einem Zufallseffektmodell? Ich habe eine Stichprobengröße von 1.500 mit 700 Clustern, die als austauschbarer Zufallseffekt modelliert wurden. Ich habe die Möglichkeit, Cluster zusammenzuführen, um weniger, aber größere Cluster zu erstellen. Ich frage mich, wie ich die minimale Stichprobengröße …

2
Warum sollten wir in der linearen Regression quadratische Terme einbeziehen, wenn wir nur an Interaktionstermen interessiert sind?
Angenommen, ich interessiere mich für ein lineares Regressionsmodell für , weil ich sehen möchte, ob eine Wechselwirkung zwischen den beiden Kovariaten einen Einfluss auf Y hat.Yi=β0+β1x1+β2x2+β3x1x2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 In den Kursnotizen eines Professors (mit denen ich keinen Kontakt habe) heißt es: Wenn Sie Interaktionsbegriffe …

1
Interpretation fester Effekte aus der logistischen Regression mit gemischten Effekten
Ich bin verwirrt von Aussagen auf einer UCLA-Webseite über die logistische Regression mit gemischten Effekten. Sie zeigen eine Tabelle mit festen Effektkoeffizienten aus der Anpassung eines solchen Modells, und der folgende erste Absatz scheint die Koeffizienten genau wie eine normale logistische Regression zu interpretieren. Aber wenn sie über Quotenverhältnisse sprechen, …

2
Eine "signifikante Variable", die die Vorhersagen außerhalb der Stichprobe nicht verbessert - wie zu interpretieren?
Ich habe eine Frage, von der ich denke, dass sie für viele Benutzer ziemlich einfach sein wird. Ich verwende lineare Regressionsmodelle, um (i) die Beziehung mehrerer erklärender Variablen und meiner Antwortvariablen zu untersuchen und (ii) meine Antwortvariable unter Verwendung der erklärenden Variablen vorherzusagen. Eine bestimmte erklärende Variable X scheint meine …

2
Was ist die Intuition hinter der Differenzierung zweiter Ordnung?
Manchmal muss eine Zeitserie differenziert werden, um stationär zu sein. Ich verstehe jedoch nicht, wie eine Differenzierung zweiter Ordnung dazu beitragen kann, sie stationär zu machen, wenn eine Differenzierung erster Ordnung nicht ausreicht. Können Sie eine intuitive Erklärung für die Differenzierung zweiter Ordnung und die Fälle geben, in denen dies …

2
Unvoreingenommener, positiver Schätzer für das Quadrat des Mittelwerts
Angenommen, wir haben Zugriff auf iid-Proben aus einer Verteilung mit dem wahren (unbekannten) Mittelwert und der Varianz μ , σ2μ,σ2\mu, \sigma^2 , und wir möchten schätzen .μ2μ2\mu^2 Wie können wir einen unvoreingenommenen, immer positiven Schätzer dieser Größe konstruieren? Das Quadrat des Stichprobenmittelwerts ist voreingenommen und überschätzt die Menge, insb. wenn …

2
Warum verwenden wir Residuen, um die Annahmen zu Regressionsfehlern zu testen?
Angenommen, wir haben ein Modell .Yi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiYi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiY_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i Die Regression hat eine Reihe von Annahmen, wie zum Beispiel, dass die Fehler normal mit dem Mittelwert Null und der konstanten Varianz verteilt werden sollten. Mir wurde beigebracht, diese Annahmen unter Verwendung …

4
So beweisen Sie statistisch, ob eine Spalte kategoriale Daten enthält oder Python nicht verwendet
Ich habe einen Datenrahmen in Python, in dem ich alle kategorialen Variablen finden muss. Das Überprüfen des Spaltentyps funktioniert nicht immer, da der intTyp auch kategorisch sein kann. Daher suche ich Hilfe bei der Suche nach der richtigen Hypothesentestmethode, um festzustellen, ob eine Spalte kategorisch ist oder nicht. Ich habe …

1
Was ist der Unterschied zwischen Entscheidungsfunktion, Vorhersagefunktion und Vorhersagefunktion für das logistische Regressionsproblem?
Ich habe die sklearn-Dokumentation durchgearbeitet, kann jedoch den Zweck dieser Funktionen im Kontext der logistischen Regression nicht verstehen. Denn decision_functiones heißt, dass es der Abstand zwischen der Hyperebene und der Testinstanz ist. Wie sind diese speziellen Informationen nützlich? und wie hängt das mit predictund predict-probamethoden zusammen?

3
Gaußsche Prozessregression für große Datenmengen
Ich habe aus Online-Videos und Vorlesungsskripten etwas über die Gaußsche Prozessregression gelernt. Wenn wir einen Datensatz mit Punkten haben, gehen wir davon aus, dass die Daten aus einem dimensionalen multivariaten Gaußschen Prozess stammen . Meine Frage ist also für den Fall, dass 10 Millionen beträgt. Funktioniert die Gaußsche Prozessregression noch? …

2
Zweck des Dirichlet-Rauschens im AlphaZero-Papier
In den Artikeln AlphaGo Zero und AlphaZero von DeepMind beschreiben sie das Hinzufügen von Dirichlet- Rauschen zu den vorherigen Wahrscheinlichkeiten von Aktionen vom Wurzelknoten (Board-Status) in der Monte-Carlo-Baumsuche: Weitere Explorations wird erreicht durch Zugabe von Dirichlet Rauschen zu den vorherigen Wahrscheinlichkeiten in dem Wurzelknoten , insbesondere , wo und ; …

3
Verteilung von wenn unabhängige -Variablen sind
Als Routineübung versuche ich, die Verteilung von wobei und unabhängige Zufallsvariablen sind.X2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2}XXXYYYU(0,1)U(0,1) U(0,1) Die Gelenkdichte von ist (X,Y)(X,Y)(X,Y)fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right)cosθcos⁡θ\cos\thetaθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]zsinθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right)sinθsin⁡θ\sin\thetaθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right] Für haben wir also .1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2cos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right) Der Absolutwert von Jacobian der Transformation ist|J|=z|J|=z|J|=z Somit ist die Verbindungsdichte von gegeben durch(Z,Θ)(Z,Θ)(Z,\Theta) fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2√),θ∈(cos−1(1/z),sin−1(1/z))}fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2),θ∈(cos−1⁡(1/z),sin−1⁡(1/z))}f_{Z,\Theta}(z,\theta)=z\mathbf 1_{\{z\in(0,1),\,\theta\in\left(0,\pi/2\right)\}\bigcup\{z\in(1,\sqrt2),\,\theta\in\left(\cos^{-1}\left(1/z\right),\sin^{-1}\left(1/z\right)\right)\}} Durch Integration von erhalten wir das pdf von …


Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.