Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Auswählen der Anzahl der Cluster - Kriterien für die Clustervalidierung im Vergleich zu domänentheoretischen Überlegungen
Ich stehe oft vor dem Problem, eine bestimmte Anzahl von Clustern auswählen zu müssen. Die Partition, die ich am Ende wähle, basiert häufiger auf visuellen und theoretischen Bedenken als auf Qualitätskriterien. Ich habe zwei Hauptfragen. Der erste betrifft die allgemeine Idee der Clusterqualität. Soweit ich weiß, schlagen Kriterien wie der …

2
Bias / Varianz-Kompromiss-Mathematik
Ich verstehe die Angelegenheit in den Begriffen Unteranpassung / Überanpassung, aber ich habe immer noch Schwierigkeiten , die genaue Mathematik dahinter zu verstehen . Ich habe mehrere Quellen überprüft ( hier , hier , hier , hier und hier ), aber ich verstehe immer noch nicht, warum sich Voreingenommenheit und …


2
Test auf mittlere Differenz
Bei Stichproben von zwei Verteilungen suche ich nach einem Test für die Median-Differenz (dh ich lehne Null ab, um zu beweisen, dass die Mediane unterschiedlich sind.) Ich möchte nichts über beide Verteilungen annehmen. Gibt es einen Standardtest für diese Situation? Ich kenne den Median-Test von Mood, aber ich glaube, er …


2
Warum sind PCA-Eigenvektoren orthogonal, aber korreliert?
Ich habe einige großartige Beiträge gesehen, in denen PCA erklärt wurde und warum bei diesem Ansatz die Eigenvektoren einer (symmetrischen) Korrelationsmatrix orthogonal sind. Ich verstehe auch die Möglichkeiten zu zeigen, dass solche Vektoren orthogonal zueinander sind (z. B. führt die Verwendung der Kreuzprodukte der Matrix dieser Eigenvektoren zu einer Matrix …


2
Ableitung von Konfidenz- und Vorhersageintervallen von Vorhersagen für Probit und Logit (und GLMs im Allgemeinen)
Die Ableitung des Vorhersageintervalls für das lineare Modell ist recht einfach: Erhalten einer Formel für Vorhersagegrenzen in einem linearen Modell . Wie lassen sich die Konfidenz- und Vorhersageintervalle für die angepassten Werte der Logit- und Probit-Regressionen (und GLMs im Allgemeinen) ableiten ?

1
Modell mit zulässigen Schätzern, die nicht der Bayes-Schätzer für eine Auswahl von Prior sind?
Jeder Bayes-Schätzer ist nach meinem besten Wissen zulässig. (Verwandte Fragen - 1 , 2. ) Ich erinnere mich, dass mein Professor einmal während einer Vorlesung erwähnt hat, dass, zumindest als grobe Intuition, auch das Gegenteil der Fall ist, dh jeder zulässige Schätzer ist der Bayes-Schätzer für eine Auswahl von Prior. …

1
Das ist unabhängig, wenn und wenn
Sei unabhängige Zufallsvariablen.Xi∼Gamma(α,pi),i=1,2,...,n+1Xi∼Gamma(α,pi),i=1,2,...,n+1X_i\sim\text{Gamma}(\alpha,p_i),i=1,2,...,n+1 Definiere und . Zeigen Sie dann, dass unabhängig voneinander verteilt sind.Z1=∑n+1i=1XiZ1=∑i=1n+1XiZ_1=\sum_{i=1}^{n+1}X_iZi=Xi∑ij=1Xj,i=2,3,...,n+1Zi=Xi∑j=1iXj,i=2,3,...,n+1Z_i=\frac{X_i}{\sum_{j=1}^iX_j},\quad i=2,3,...,n+1Z1,Z2,...,Zn+1Z1,Z2,...,Zn+1Z_1,Z_2,...,Z_{n+1} Die Verbindungsdichte von ist gegeben durch(X1,...,Xn+1)(X1,...,Xn+1)(X_1,...,X_{n+1}) fX(x1,...,xn+1)=[α∑n+1i=1pi∏n+1i=1Γ(pi)exp(−α∑i=1n+1xi)∏i=1n+1xpi−1i]Ixi>0,α>0,pi>0fX(x1,...,xn+1)=[α∑i=1n+1pi∏i=1n+1Γ(pi)exp⁡(−α∑i=1n+1xi)∏i=1n+1xipi−1]Ixi>0,α>0,pi>0f_{\bf X}(x_1,...,x_{n+1})=\left[\frac{\alpha^{\sum_{i=1}^{n+1}p_i}}{\prod_{i=1}^{n+1}\Gamma(p_i)}\exp\left(-\alpha\sum_{i=1}^{n+1}x_i\right)\prod_{i=1}^{n+1}x_i^{p_i-1}\right]\mathbf I_{x_i>0}\quad,\alpha>0,p_i>0 Wir transformieren so, dassX=(X1,⋯,Xn+1)↦Z=(Z1,⋯,Zn+1)X=(X1,⋯,Xn+1)↦Z=(Z1,⋯,Zn+1)\mathbf X=(X_1,\cdots,X_{n+1})\mapsto\mathbf Z=(Z_1,\cdots,Z_{n+1}) Z1=∑n+1i=1XiZ1=∑i=1n+1XiZ_1=\sum_{i=1}^{n+1}X_i undZi=Xi∑ij=1Xj,i=2,3,...,n+1Zi=Xi∑j=1iXj,i=2,3,...,n+1Z_i=\frac{X_i}{\sum_{j=1}^iX_j},\quad i=2,3,...,n+1 ⟹xn+1=z1zn+1,⟹xn+1=z1zn+1,\implies x_{n+1}=z_1z_{n+1}, xn=z1zn(1−zn+1),xn=z1zn(1−zn+1),\qquad x_n=z_1z_n(1-z_{n+1}), xn−1=z1zn−1(1−zn)(1−xn+1),xn−1=z1zn−1(1−zn)(1−xn+1),\qquad x_{n-1}=z_1z_{n-1}(1-z_n)(1-x_{n+1}), ⋮⋮\qquad\vdots x3=z1z3∏n+1j=4(1−zj)x3=z1z3∏j=4n+1(1−zj)\qquad x_3=z_1z_3\prod_{j=4}^{n+1}(1-z_j) x2=z1z2∏n+1j=3(1−zj)x2=z1z2∏j=3n+1(1−zj)\qquad x_2=z_1z_2\prod_{j=3}^{n+1}(1-z_j) x1=z1∏n+1j=2(1−zj)x1=z1∏j=2n+1(1−zj)\qquad x_1=z_1\prod_{j=2}^{n+1}(1-z_j) , wobei und0<z1<∞0<z1<∞00 und …

2
Neuronales Netz: Warum kann ich nicht überanpassen?
Ich habe ein neuronales Netzwerk (Feed-Forward Single Layer), mit dem ich versuche, eine umweltbezogene Variable aus zwei Finanzvariablen vorherzusagen (Regression). Ich benutze die "Zug" -Funktion aus dem Caret-Paket. Ich benutze den nnet()Algorithmus im Caret-Paket. Ich habe zwei kontinuierliche Prädiktoren und 420 Datenpunkte. Zum theoretischen Verständnis versuche ich, mein Modell absichtlich …

1
Wie vermeide ich "katastrophales Vergessen"?
Ich habe diesen Artikel von Michael Honiball (Schöpfer von Spacy) gelesen, in dem er über das Problem des „katastrophalen Vergessens“ spricht . Hier sagt er, wenn wir ein vorab trainiertes Modell optimieren möchten, um ein neues Etikett hinzuzufügen oder bestimmte Fehler zu korrigieren, kann dies das Problem des „katastrophalen Vergessens“ …

2
Epochen in Keras Bedeutung? [geschlossen]
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 2 Jahren . Was bedeutet das? Epoch 1/300 7200/7200 [==============================] - 0s - loss: 3.3616 - acc: 0.3707 …

5
Warum sollte man sich so sehr um den erwarteten Nutzen kümmern?
Ich habe eine naive Frage zur Entscheidungstheorie. Wir berechnen die Wahrscheinlichkeiten verschiedener Ergebnisse unter Annahme bestimmter Entscheidungen und weisen jedem Ergebnis Dienstprogramme oder Kosten zu. Wir finden die optimale Entscheidung, indem wir die mit dem größten erwarteten Nutzen finden. Aber warum sollten wir so argumentieren? Mit jeder Entscheidung ist tatsächlich …

2
Verständnis des frühen Stopps in neuronalen Netzen und seiner Auswirkungen bei der Verwendung der Kreuzvalidierung
Ich bin ein bisschen beunruhigt und verwirrt über die Idee, wie die Technik des frühen Stoppens definiert wird. Wenn Sie sich Wikipedia ansehen , ist es wie folgt definiert: Teilen Sie die Trainingsdaten in einen Trainingssatz und einen Validierungssatz auf, z. B. im Verhältnis 2 zu 1. Trainieren Sie nur …

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.