Statistiken und Big Data bias

2

Bias-Varianz-Zerlegung: Begriff für den erwarteten quadratischen Prognosefehler abzüglich des nicht reduzierbaren Fehlers

Hastie et al. "Die Elemente des statistischen Lernens" (2009) betrachten einen Datenerzeugungsprozess mit und .Y=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Sie zeigen die folgende Bias-Varianz-Zerlegung des erwarteten quadratischen Prognosefehlers am Punkt (S. 223, Formel 7.9): In my eigene Arbeit Ich gebe nicht sondern nehme stattdessen eine willkürliche Prognose (falls …

9 variance forecasting prediction terminology bias

2

Die Annahmen der kleinsten Quadrate

Nehmen Sie die folgende lineare Beziehung an: , wobei die abhängige Variable ist, eine einzelne unabhängige Variable und der Fehlerterm.Yi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYiYiY_iXiXiX_iuiuiu_i Nach Stock & Watson (Einführung in die Ökonometrie; Kapitel 4 ) ist die Annahme der Quadrate, dass die vierten Momente von und ungleich …

9 regression least-squares assumptions bias consistency

2

Sind Baumschätzer IMMER voreingenommen?

Ich mache Hausaufgaben zu Entscheidungsbäumen und eine der Fragen, die ich beantworten muss, lautet: "Warum sind Schätzer aus voreingenommenen Bäumen aufgebaut und wie hilft das Absacken, ihre Varianz zu verringern?". Jetzt weiß ich, dass überangepasste Modelle tendenziell eine sehr geringe Verzerrung aufweisen, da sie versuchen, alle Datenpunkte anzupassen. Und ich …

9 cart bias

3

Was ist dieser Bias-Varianz-Kompromiss für Regressionskoeffizienten und wie kann er abgeleitet werden?

In diesem ( Bayesianische Inferenz für Varianzkomponenten, die nur Fehlerkontraste verwenden , Harville, 1974) behauptet der Autor als "bekannt" Beziehung ", für eine lineare Regression wobei y = X β(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ϵ ∼ N ( 0 , H ) .y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). Wie ist das bekannt? Was ist der einfachste Weg, dies zu …

9 regression regression-coefficients heteroscedasticity bias linear-algebra

2

Optimism Bias - Schätzungen des Vorhersagefehlers

Das Buch Elemente des statistischen Lernens (online als PDF verfügbar) behandelt die optimistische Tendenz (7.21, Seite 229). Es heißt, dass der Optimismus-Bias die Differenz zwischen dem Trainingsfehler und dem In-Sample-Fehler ist (Fehler, der beobachtet wird, wenn an jedem der ursprünglichen Trainingspunkte neue Ergebniswerte abgetastet werden) (siehe unten). Als nächstes heißt …

9 error bias validation

2

Cox-Proportional-Hazard-Modell und nicht zufällig ausgewählte Stichprobe

Gibt es Methoden zur Korrektur von Verzerrungen im Cox-Proportional-Hazard-Modell, die durch nicht zufällig ausgewählte Stichproben verursacht werden (so etwas wie Heckmans Korrektur)? Hintergrund : Nehmen wir an, die Situation sieht wie folgt aus: - In den ersten zwei Jahren werden alle Kunden akzeptiert. - Nach diesen zwei Jahren wird ein …

9 bias cox-model

2

Warum bedeutet Unparteilichkeit nicht Beständigkeit?

Ich lese Deep Learning von Ian Goodfellow et al. Es führt Bias als B i a s ( θ ) = E.( θ^) - θB.icheins(θ)=E.(θ^)- -θBias(\theta)=E(\hat\theta)-\theta wo und werden die geschätzten Parameter und der zugrunde liegende reelle Parameter, respectively.θ^θ^\hat\thetaθθ\theta Konsistenz, auf der anderen Seite, ist definiert durch was bedeutet , …

9 estimation bias unbiased-estimator consistency

1

Verwirrung in Bezug auf die Absacktechnik

Ich bin ein bisschen verwirrt. Ich habe dieses Papier gelesen, in dem erklärt wurde, dass die Absacktechnik die Varianz stark verringert und die Vorspannung nur geringfügig erhöht. Ich habe es nicht verstanden, warum es die Varianz reduziert. Ich weiß, was Varianz und Voreingenommenheit sind. Bias ist die Unfähigkeit des Modells, …

9 variance bias bagging

4

Unterschied zwischen Voreingenommenheit, systematischer Voreingenommenheit und systematischem Fehler?

Gibt es einen Unterschied zwischen den folgenden Begriffen oder sind sie gleich? Vorspannen Systematische Voreingenommenheit Systematische Fehler Wenn es dann Unterschiede gibt, erklären Sie diese bitte. Können diese Fehler reduziert werden, wenn man die Stichprobengröße erhöht? UPDATE: Mein Interessengebiet ist die statistische Inferenz. Ich möchte damit sagen, wie wir diesen …

9 measurement-error bias

3

Verwenden von Regressionsgewichten, wenn

Angenommen, wir beobachten die Daten Y,XY,XY, X und möchten ein Regressionsmodell für E[Y|X]E[Y|X]\mathbf{E}[Y \,|\, X] . Leider wirdYYY manchmal mit Fehlern gemessen, deren Mittelwert ungleich Null ist. Es sei Z∈{unbiased,biased}Z∈{unbiased,biased}}Z \in \left\{\text{unbiased}, \text{biased}\right\} anzugeben, ob Y.Y.Y mit klassischen Fehlern mit einem Mittelwert von Null bzw. mit einem Fehler ungleich Null …

8 regression bias measurement-error weighted-regression

2

Ist eine geringe Verzerrung in einer Stichprobe ein Synonym für eine hohe Varianz?

Ist das Folgende wahr? niedrige Vorspannung = hohe Varianz hohe Vorspannung = niedrige Varianz Ich verstehe hohe und niedrige Vorurteile, aber wie unterscheidet sich die Varianz? Oder sind die oben genannten Synonyme?

8 machine-learning neural-networks variance sampling bias

2

Name des „Ummischungstricks“ (Permutieren Sie den Datensatz zufällig, um die Verzerrung eines Schätzers zu schätzen)

Kennen Sie eine Referenz oder einen Namen für die folgende Methode, um zu untersuchen, ob eine komplexe Modellierungstechnik verzerrt ist?T.TT Wenden Sie auf den Originaldatensatz an. Messen Sie die Leistung (z. B. R-Quadrat in der Regressionseinstellung).T.TT Permutieren Sie die Antwortvariable nach dem Zufallsprinzip, um einen neuen Datensatz zu erhalten. Wende …

8 terminology bias validation permutation-test

1

Selektionsbias bei Bäumen

In Applied Predictive Modeling von Kuhn und Johnson schreiben die Autoren: Schließlich leiden diese Bäume unter Selektionsverzerrungen: Prädiktoren mit einer höheren Anzahl unterschiedlicher Werte werden gegenüber detaillierteren Prädiktoren bevorzugt (Loh und Shih, 1997; Carolin et al., 2007; Loh, 2010). Loh und Shih (1997) bemerkten: „Die Gefahr besteht, wenn ein Datensatz …

8 cart bias

2

Verzerrt die Anpassung für überflüssige Variablen die OLS-Schätzungen?

Die übliche Lehrbuchbehandlung zum Anpassen überflüssiger Variablen in OLS besagt, dass der Schätzer immer noch unvoreingenommen ist, aber möglicherweise eine größere Varianz aufweist (siehe z. B. Greene, Econometric Analysis, 7. Aufl., S. 58). Neulich bin ich auf Judea Perles Behandlung von Simpsons Paradox gestoßen und auf eine schöne Webseite , …

8 least-squares bias causality simpsons-paradox

1

Ausgelassene Kreuzvalidierung: Relativ unvoreingenommene Schätzung der Generalisierungsleistung?

Ich habe gelesen, dass eine ausgelassene Kreuzvalidierung eine relativ „unvoreingenommene Schätzung der tatsächlichen Generalisierungsleistung“ liefert (z. B. hier ) und dass dies eine vorteilhafte Eigenschaft des ausgelassenen Lebenslaufs ist. Ich sehe jedoch nicht, wie sich dies aus den Eigenschaften eines ausgelassenen Lebenslaufs ergibt. Warum ist die Tendenz dieses Schätzers im …

8 cross-validation model-selection bias

Als «bias» getaggte Fragen