Warum vertikale Abstände?

11

Warum werden bei der OLS-Schätzung eher vertikale Abweichungen der Punkte zur Linie als horizontale Abstände berücksichtigt?

least-squares

— user333
quelle

1

Alte Frage, aber ich denke, dass es nützlich ist, die Daten als Stichprobe einer Wahrscheinlichkeitsverteilung

— anzusehen, die

12

OLS ( gewöhnliche kleinste Quadrate ) geht davon aus, dass die durch die horizontalen Abstände dargestellten Werte entweder vom Experimentator vorgegeben oder mit hoher Genauigkeit (relativ zu den vertikalen Abständen) gemessen werden. Wenn es um Unsicherheit bei den horizontalen Abständen geht, sollten Sie nicht OLS verwenden, sondern sich stattdessen mit Modellen für Fehler in Variablen oder möglicherweise mit der Analyse von Hauptkomponenten befassen .

— whuber
quelle

"Orthogonale Regression" ist eine andere Sache, auf die man stoßen könnte, wenn man nach Methoden sucht, um mit kontaminierten Abszissen und Ordinaten umzugehen.

— JM ist kein Statistiker

+1 Dies ist noch eine Nische nur in der Statistik; In der experimentellen Physik sind komplexere Methoden der kleinsten Quadrate (nicht nur Hinzufügen von X-Variabilität, sondern auch unterschiedliche Strafen für Punkte basierend auf Fehlernäherungen) üblich. Das ROOT-Framework hat Dutzende davon.

1

Interessante Frage. Meine Antwort wäre, dass wir bei der Anpassung eines OLS-Modells implizit und in erster Linie versuchen, die vorliegende abhängige Variable vorherzusagen / zu erklären - das "Y" im "Y vs X". Daher wäre es unser Hauptanliegen, den Abstand von unserer angepassten Linie zu den tatsächlichen Beobachtungen in Bezug auf das Ergebnis zu minimieren, was bedeutet, den vertikalen Abstand zu minimieren. Dies definiert natürlich die Residuen.

Außerdem lassen sich Formeln für kleinste Quadrate leichter ableiten als die meisten anderen konkurrierenden Methoden, weshalb sie möglicherweise zuerst verwendet wurden. : P.

Wie oben erwähnt, gibt es andere Ansätze, die X und Y bei der Anpassung einer Best-Fit-Linie gleich stark behandeln. Ein solcher Ansatz, den ich kenne, ist die Regression "Hauptlinien" oder "Hauptkurven", die die orthogonalen Abstände zwischen den Punkten und der Linie minimiert (anstelle von vertikalen Fehlerlinien haben Sie solche mit einem Winkel von 90 Grad zur angepassten Linie). . Ich poste unten eine Referenz für Ihre Lektüre. Es ist langwierig, aber sehr zugänglich und aufschlussreich.

Hoffe das hilft, Brenden

Trevor Hastie. Hauptkurven und Oberflächen , Doktorarbeit, Stanford University; 1984

— Brenden
quelle

1

Es bezieht sich möglicherweise auch auf entworfene Experimente - wenn x eine kontrollierte Größe ist, die Teil des experimentellen Entwurfs ist, wird es als deterministisch behandelt; während y das Ergebnis ist und eine zufällige Größe ist. x kann eine kontinuierliche Menge sein (z. B. die Konzentration eines Arzneimittels), kann jedoch eine 0/1-Aufteilung sein (was zu einem t-Test mit 2 Stichproben führt, vorausgesetzt, y ist Gauß). Wenn x eine kontinuierliche Größe ist, kann es zu Messfehlern kommen. Wenn dies jedoch viel kleiner als die Variabilität von y ist, wird dies ignoriert.

— Chris Brunsdon
quelle