Ist eine geringe Verzerrung in einer Stichprobe ein Synonym für eine hohe Varianz?

Ist das Folgende wahr?

niedrige Vorspannung = hohe Varianz
hohe Vorspannung = niedrige Varianz

Ich verstehe hohe und niedrige Vorurteile, aber wie unterscheidet sich die Varianz? Oder sind die oben genannten Synonyme?

— immer vorsichtig
quelle

Varianz hat wirklich nichts mit Voreingenommenheit zu tun.

— Michael R. Chernick

Ist dies eine allgemeine Frage zur statistischen Stichprobe? Wenn ja, deaktivieren Sie bitte neuronale Netze . Wenn es speziell um neuronale Netze geht, erklären Sie bitte, warum und fügen Sie mehr Kontext hinzu.

— smci

Nein. Sie können beide gleichzeitig hoch oder niedrig haben. Hier ist ein Beispiel. Bild- und Artikelquelle Ich empfehle Ihnen auch, den Artikel zu lesen, aus dem dieses Bild stammt.

Der Grund, warum Sie einen solchen Eindruck haben, ist, dass es im "frühen Alter" des maschinellen Lernens ein Konzept gibt, das als Bias-Varianz-Kompromiss bezeichnet wird (wie @Kodiologist erwähnte, ist dieses Konzept immer noch wahr und ein grundlegendes Konzept für die Optimierung von Modellen heute).

Wenn die Komplexität des Modells erhöht wird, wird die Varianz erhöht und die Verzerrung verringert
Wenn das Modell reguliert wird, wird die Verzerrung erhöht und die Varianz verringert.

In Andrew Ngs jüngstem Deep Learning Coursera-Vortrag erwähnte er, dass in dem jüngsten Deep Learning-Framework (mit einer großen Datenmenge) weniger über Kompromisse gesprochen wird. Stattdessen gibt es Möglichkeiten, nur die Varianz zu verringern und die Verzerrung nicht zu erhöhen (z. B. die Größe der Trainingsdaten zu erhöhen), und umgekehrt.

— Haitao Du
quelle

Danke, hast du den Link zum Artikel?

— Alwayscurious

Andrew Ngs Bemerkungen bezogen sich wahrscheinlich auf maschinelles Lernen mit "Big Data". Sowohl Theorie als auch Praxis legen nahe, dass bei einer kleinen Datengröße der Bias-Varianz-Kompromiss sehr wichtig ist.

— Martin L

Der Kompromiss kommt in der Gegenwart immer noch recht häufig vor. Zum Beispiel erhält die regulierte Regression ihren prädiktiven Vorteil gegenüber OLS, indem sie die Varianz gegen die Verzerrung auf eine Weise austauscht, die die Genauigkeit im Netz erhöht. Es ist auch einfach, einen unverzerrten Schätzer zu finden, der zu viel Varianz aufweist, um nützlich zu sein, und einen Schätzer mit 0 Varianz, der zu stark verzerrt ist, um nützlich zu sein.

— Kodiologe

@ Kodiologist danke für den Kommentar. Ich habe meine Antwort überarbeitet, hoffentlich ist es besser.

— Haitao Du

Yah, ich mag es jetzt definitiv besser!

— Matthew Drury

Der Unterschied zwischen Bias und Varianz ist der gleiche wie zwischen Genauigkeit und Präzision :

Die Genauigkeit eines Messsystems ist, wie nahe es dem tatsächlichen (wahren) Wert einer Menge kommt. (≈ Voreingenommenheit)

Die Präzision eines Messsystems ist der Grad, in dem wiederholte Messungen zu denselben Ergebnissen führen. (≈ Varianz)

— Eric Duminil
quelle