Statistiken und Big Data bias

3

Logistische Regressionsverzerrung bei seltenen Ereignissen: Wie kann man die unterschätzten p mit einem minimalen Beispiel simulieren?

CrossValidated hat verschiedene Fragen, wann und wie die Selten-Ereignis-Bias-Korrektur von King und Zeng (2001) angewendet werden soll. . Ich suche etwas anderes: eine minimale simulationsbasierte Demonstration, dass der Bias existiert. Insbesondere König und Zeng Zustand "... in Daten zu seltenen Ereignissen können die Wahrscheinlichkeiten bei Stichprobengrößen zu Tausenden erheblich sein …

19 r logistic simulation bias rare-events

1

Wann wurde auf mittlere prägte das Wort „bias“

Wann bedeutete das Wort "Voreingenommenheit" ?E[θ^−θ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] Der Grund, warum ich gerade darüber nachdenke, ist, dass ich mich an Jaynes in seinem Wahrscheinlichkeitstheoretiktext zu erinnern scheine , der die Verwendung des Wortes "Voreingenommenheit" zur Beschreibung dieser Formel kritisiert und eine Alternative vorschlägt. Aus Jaynes ' Wahrscheinlichkeitstheorie , Abschnitt 17.2 "Unvoreingenommene Schätzer:" …

18 terminology bias history

7

Verzerrte Daten beim maschinellen Lernen

Ich arbeite an einem Projekt zum maschinellen Lernen mit Daten, die bereits durch die Datenauswahl (stark) verzerrt sind. Nehmen wir an, Sie haben einen Satz fest codierter Regeln. Wie erstellen Sie ein Modell für maschinelles Lernen, um es zu ersetzen, wenn alle Daten, die es verwenden kann, Daten sind, die …

18 machine-learning classification data-mining bias extrapolation

2

Gibt es eine grafische Darstellung des Bias-Varianz-Kompromisses bei der linearen Regression?

Ich habe einen Blackout. Ich erhielt das folgende Bild, um den Kompromiss zwischen Bias und Varianz im Kontext der linearen Regression zu veranschaulichen: Ich kann sehen, dass keines der beiden Modelle gut passt - das "Einfache" schätzt die Komplexität der XY-Beziehung nicht und das "Komplexe" ist einfach überpassend und lernt …

18 regression variance bias

6

Gibt es ein Beispiel, in dem MLE eine voreingenommene Schätzung des Mittelwerts erstellt?

Können Sie ein Beispiel für einen MLE-Schätzer für den voreingenommenen Mittelwert angeben? Ich bin nicht auf der Suche nach einem Beispiel, das MLE-Schätzer im Allgemeinen durch Verstöße gegen die Regularitätsbedingungen bricht. Alle Beispiele, die ich im Internet sehe, beziehen sich auf die Varianz, und ich kann anscheinend nichts finden, was …

17 maximum-likelihood mean bias

1

Ausgelassener variabler Bias in der logistischen Regression vs. ausgelassener variabler Bias in der gewöhnlichen Regression der kleinsten Quadrate

Ich habe eine Frage zu ausgelassenen variablen Verzerrungen in der logistischen und linearen Regression. Angenommen, ich lasse einige Variablen aus einem linearen Regressionsmodell weg. Stellen Sie sich vor, dass diese ausgelassenen Variablen nicht mit den in meinem Modell enthaltenen Variablen korreliert sind. Diese ausgelassenen Variablen beeinflussen die Koeffizienten in meinem …

17 regression logistic least-squares bias

2

Frage zum Bias-Varianz-Kompromiss

Ich versuche den Bias-Varianz-Kompromiss, die Beziehung zwischen dem Bias des Schätzers und dem Bias des Modells und die Beziehung zwischen der Varianz des Schätzers und der Varianz des Modells zu verstehen. Ich bin zu folgenden Schlussfolgerungen gekommen: Wir neigen dazu, die Daten zu überdecken, wenn wir die Abweichung des Schätzers …

15 regression variance bias bias-variance-tradeoff

1

Minimierung der Verzerrung bei der erklärenden Modellierung, warum? (Galit Shmuelis "Erklären oder Vorhersagen")

Diese Frage bezieht sich auf Galit Shmuelis Aufsatz "To Explain or to Predict" . Im Einzelnen schreibt Professor Shmueli in Abschnitt 1.5, "Erklärung und Vorhersage sind unterschiedlich": Bei der erklärenden Modellierung liegt der Schwerpunkt auf der Minimierung der Verzerrung, um die genaueste Darstellung der zugrunde liegenden Theorie zu erhalten. Das …

15 predictive-models inference bias unbiased-estimator explanatory-models

3

Warum weist ein Entscheidungsbaum eine geringe Verzerrung und eine hohe Varianz auf?

Fragen Kommt es darauf an, ob der Baum flach oder tief ist? Oder können wir das unabhängig von der Tiefe / Höhe des Baumes sagen? Warum ist die Vorspannung niedrig und die Varianz hoch? Erklären Sie dies bitte intuitiv und mathematisch

15 machine-learning variance covariance cart bias

3

Müssen wir wirklich alle relevanten Prädiktoren einbeziehen?

Eine Grundannahme bei der Verwendung von Regressionsmodellen zur Inferenz ist, dass "alle relevanten Prädiktoren" in die Prädiktionsgleichung einbezogen wurden. Der Grund dafür ist, dass die Nichteinbeziehung eines wichtigen Faktors aus der realen Welt zu verzerrten Koeffizienten und damit zu ungenauen Schlussfolgerungen führt (dh eine variable Verzerrung wird weggelassen). Aber in …

15 regression assumptions bias predictor confounding

2

Hohe Varianz der einmaligen Kreuzvalidierung

Ich habe immer wieder gelesen, dass die Kreuzvalidierung "Auslassen" aufgrund der großen Überlappung der Trainingsfalten eine hohe Varianz aufweist. Ich verstehe jedoch nicht, warum das so ist: Sollte die Leistung der Kreuzvalidierung nicht sehr stabil sein (geringe Varianz), gerade weil die Trainingssätze fast identisch sind? Oder habe ich ein falsches …

15 variance cross-validation bias

1

Zufälliges Parameterproblem

Ich bemühe mich immer, die wahre Essenz des Problems der zufälligen Parameter zu finden. Ich habe mehrmals gelesen, dass die Fixeffektschätzer von nichtlinearen Paneldatenmodellen aufgrund des "bekannten" zufälligen Parameterproblems stark verzerrt sein können. Wenn ich nach einer klaren Erklärung für dieses Problem frage, lautet die typische Antwort: Angenommen, die Paneldaten …

15 nonlinear-regression fixed-effects-model bias

2

Bei welchen Modellen fällt die Vorspannung von MLE schneller als die Varianz?

θ^\hat\thetaθ∗\theta^*nn Sie ‖ θ - θ * ‖ ∥θ^−θ∗∥\lVert\hat\theta-\theta^*\rVertO ( 1 / √n )O(1/n−−√)O(1/\sqrt n)‖E θ -θ*‖∥Eθ^−θ∗∥\lVert \mathbb E\hat\theta - \theta^*\rVert‖E θ - θ ‖∥Eθ^−θ^∥\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/ √n )O(1/n−−√)O(1/\sqrt{n}) Ich interessiere mich für Modelle mit einer Abweichung , die schneller als schrumpft, bei der der Fehler jedoch nicht …

14 variance estimation maximum-likelihood bias

4

Voreingenommenheit bei der Auswahl der Jury?

Ein Freund vertritt einen Klienten im Berufungsverfahren nach einem Strafverfahren, in dem es den Anschein hat, dass die Auswahl der Jury rassistisch voreingenommen war. Der Jurypool bestand aus 30 Personen in 4 Rassengruppen. Die Staatsanwaltschaft nutzte peremptoristische Herausforderungen, um 10 dieser Personen aus dem Pool zu entfernen. Die Anzahl der …

14 probability statistical-significance references bias combinatorics

2

Bietet die schrittweise Regression eine voreingenommene Schätzung des R-Quadrats der Bevölkerung?

In der Psychologie und anderen Bereichen wird häufig eine Form der schrittweisen Regression angewendet, die Folgendes umfasst: Sehen Sie sich die verbleibenden Prädiktoren an (es gibt zunächst keine im Modell) und identifizieren Sie den Prädiktor, der zur größten Änderung des R-Quadrats führt. Wenn der p-Wert der Änderung des r-Quadrats kleiner …

14 regression model-selection bias r-squared stepwise-regression

Als «bias» getaggte Fragen