Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Was bedeutet es, die Stichprobengröße als Zufallsvariable zu definieren?
Frank Harrell hat einen Blog gestartet ( Statistical Thinking) . In seinem ersten Beitrag listet er einige Schlüsselmerkmale seiner statistischen Philosophie auf. Es umfasst unter anderem: Machen Sie die Stichprobengröße nach Möglichkeit zu einer Zufallsvariablen Was bedeutet es, "die Stichprobengröße zu einer Zufallsvariablen zu machen"? Was sind die Vorteile davon? …
4
Theoretische Motivation für die Verwendung von Log-Likelihood vs. Likelihood
Ich versuche, die Allgegenwart der log-Wahrscheinlichkeit (und vielleicht allgemeiner log-Wahrscheinlichkeit) in der Statistik und in der Wahrscheinlichkeitstheorie auf einer tieferen Ebene zu verstehen. Log-Wahrscheinlichkeiten tauchen überall auf: Wir arbeiten normalerweise mit der Log-Wahrscheinlichkeit für die Analyse (z. B. zur Maximierung), die Fisher-Information wird als zweite Ableitung der Log-Wahrscheinlichkeit definiert, Entropie …
2
Gibt es eine Annahme zur logistischen Regression?
Gibt es eine Annahme über die Antwortvariable der logistischen Regression? Angenommen, wir haben Datenpunkte. Es scheint, dass die Antwort von einer Bernoulli-Distribution mit . Daher sollten wir Bernoulli-Verteilungen mit unterschiedlichen Parametern .Y i p i = logit100010001000YiYiY_i1000 ppi=logit(β0+β1xi)pi=logit(β0+β1xi)p_i=\text{logit}(\beta_0+\beta_1 x_i)100010001000ppp Sie sind also "unabhängig", aber nicht "identisch". Habe ich recht? PS. …
2
Angenommen, . Show
Wie lässt sich am einfachsten feststellen, dass die folgende Aussage zutrifft? Angenommen, . Zeige .Y1,…,Yn∼iidExp(1)Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1)∑ni=1(Yi−Y(1))∼Gamma(n−1,1)∑i=1n(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim \text{Gamma}(n-1, 1) Beachten Sie, dass .Y(1)=min1≤i≤nYiY(1)=min1≤i≤nYiY_{(1)} = \min\limits_{1 \leq i \leq n}Y_i Mit X∼Exp(β)X∼Exp(β)X \sim \text{Exp}(\beta) bedeutet dies, dass fX(x)=1βe−x/β⋅1{x>0}fX(x)=1βe−x/β⋅1{x>0}f_{X}(x) = \dfrac{1}{\beta}e^{-x/\beta} \cdot \mathbf{1}_{\{x > 0\}} . Es …
5
Macht die Bayes'sche Statistik die Metaanalyse überflüssig?
Ich frage mich nur, ob die Bayes'schen Statistiken konsequent von der ersten bis zur letzten Studie angewendet werden, wenn dies eine Metaanalyse überflüssig macht. Nehmen wir zum Beispiel 20 Studien an, die zu unterschiedlichen Zeitpunkten durchgeführt wurden. Die Schätzung oder Verteilung der ersten Studie erfolgte mit einem nicht informativen Vorgänger. …
6
Intuitive Erklärung des Terms
Wenn vollen Rang hat, existiert die Umkehrung von und wir erhalten die Schätzung der kleinsten Quadrate: undXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Wie können wir in der Varianzformel intuitiv erklären ? Die Technik der Ableitung ist für mich klar.(XTX)−1(XTX)−1(X^TX)^{-1}
1
Führen wir wirklich multivariate Regressionsanalysen mit * Millionen * Koeffizienten / unabhängigen Variablen durch?
Ich verbringe einige Zeit damit, maschinelles Lernen zu lernen (entschuldige die Rekursion :), und ich bin fasziniert von der Faustregel , bei multivariater linearer Regression Gradient Descent anstelle der direkten Gleichungslösung für die Berechnung von Regressionskoeffizienten zu wählen. 10 , 000 - 1 , 000 , 00010,000-1,000,00010,000 - 1,000,000 In …
3
Was macht neuronale Netze zu einem nichtlinearen Klassifikationsmodell?
Ich versuche die mathematische Bedeutung von nichtlinearen Klassifikationsmodellen zu verstehen: Ich habe gerade einen Artikel über neuronale Netze als nichtlineares Klassifikationsmodell gelesen. Aber mir ist nur klar, dass: Die erste Schicht: h1=x1∗wx1h1+x2∗wx1h2h1=x1∗wx1h1+x2∗wx1h2h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2} h2=x1∗wx2h1+x2∗wx2h2h2=x1∗wx2h1+x2∗wx2h2h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2} Die folgende Schicht y=b∗wby+h1∗wh1y+h2∗wh2yy=b∗wby+h1∗wh1y+h2∗wh2yy=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y} Kann vereinfacht werden =b'+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y} =b'+x1(wh1y∗wx1h1+wx2h1∗wh2y)+x2(wh1y∗wx1h1+wx2h2∗wh2y)=b′+x1(wh1y∗wx1h1+wx2h1∗wh2y)+x2(wh1y∗wx1h1+wx2h2∗wh2y)=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y}) Ein zweischichtiges neuronales Netzwerk ist nur eine einfache …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.