Über George Box, Galit Shmueli und die wissenschaftliche Methode?

(Diese Frage scheint für die Philosophy SE besser geeignet zu sein. Ich hoffe, dass Statistiker meine Missverständnisse über die Aussagen von Box und Shmueli klären können, daher veröffentliche ich sie hier.)

George Box (von ARIMA) sagte:

"Alle Modelle sind falsch, aber einige sind nützlich."

Galit Shmueli argumentiert in ihrer berühmten Zeitung "To Explain or to Predict" (und zitiert andere, die ihr zustimmen), dass:

Erklären und Vorhersagen sind nicht dasselbe und einige Modelle leisten gute Erklärungen, auch wenn sie keine guten Vorhersagen machen.

Ich halte diese Prinzipien für widersprüchlich.

Wenn ein Modell nicht gut vorhersagt, ist es nützlich?

Noch wichtiger ist, wenn ein Modell gut erklärt (aber nicht unbedingt gut vorhersagt), muss es auf die eine oder andere Weise wahr (dh nicht falsch) sein. Wie passt das zu Box '"Alle Modelle sind falsch"?

Wenn sich ein Modell gut erklärt, aber nicht gut vorhersagt, wie ist es dann überhaupt wissenschaftlich? Die meisten wissenschaftlichen Abgrenzungskriterien (Verifikationismus, Fälschungismus usw.) implizieren, dass eine wissenschaftliche Aussage Vorhersagekraft haben muss oder umgangssprachlich: Eine Theorie oder ein Modell ist nur dann richtig, wenn sie empirisch überprüft (oder verfälscht) werden kann, was bedeutet, dass dies der Fall ist muss zukünftige Ergebnisse vorhersagen.

Meine Fragen:

• Sind Box 'Aussage und Shmuelis Vorstellungen tatsächlich widersprüchlich, oder fehlt mir etwas, zB kann ein Modell, das noch keine Vorhersagekraft hat, noch nützlich sein?
• Wenn die Aussagen von Box und Shmueli nicht widersprüchlich sind, was bedeutet es dann für ein Modell, falsch zu sein und nicht gut vorherzusagen, aber dennoch erklärende Kraft zu haben? Anders ausgedrückt: Wenn man sowohl Korrektheit als auch Vorhersagefähigkeit wegnimmt, was bleibt von einem Modell übrig?

$R^2$$L1$$L$$L$$p < 0.05$$p < 0.1$$p < 0.01$

• Wie kann man auf der Grundlage des oben Gesagten ein Modell objektiv validieren, das gut erklärt, aber nicht gut vorhersagt, da ein Testen außerhalb der Stichprobe nicht möglich ist?

Lassen Sie mich mit dem markigen Zitat von George Box beginnen, dass "alle Modelle falsch sind, aber einige nützlich sind". Diese Aussage ist eine Zusammenfassung des methodologischen Ansatzes des "Positivismus", der einen in den Wissenschaften sehr einflussreichen philosophischen Ansatz darstellt. Dieser Ansatz wird (im Kontext der Wirtschaftstheorie) im klassischen methodologischen Aufsatz von Friedman (1966) ausführlich beschrieben . In diesem Aufsatz argumentiert Friedman, dass jede nützliche wissenschaftliche Theorie notwendigerweise eine Vereinfachung der Realität darstellt, und daher müssen ihre Annahmen immer bis zu einem gewissen Grad von der Realität abweichen und können sogar wesentlich von der Realität abweichen.die Komplexität der Welt auf eine überschaubare Menge von Prinzipien zu reduzieren und präzise Vorhersagen über die Realität zu treffen und neue überprüfbare Hypothesen über die Realität zu generieren. Daher argumentiert Friedman, dass "alle Modelle falsch sind", insofern sie alle Annahmen enthalten, die die Realität vereinfachen (und daher von ihr abweichen), dass "einige nützlich sind", sofern sie einen einfachen Rahmen für nützliche Vorhersagen über die Realität bieten.

Wenn Sie nun Box (1976) lesen (das Papier, in dem er zuerst feststellt, dass "alle Modelle falsch sind"), werden Sie sehen, dass er weder Friedman zitiert noch methodologischen Positivismus erwähnt. Dennoch kommt seine Erklärung der wissenschaftlichen Methode und ihrer Eigenschaften der von Friedman entwickelten sehr nahe. Insbesondere betonen beide Autoren, dass eine wissenschaftliche Theorie Vorhersagen über die Realität treffen wird, die anhand beobachteter Tatsachen überprüft werden können, und dass der Fehler in der Vorhersage dann als Grundlage für die Überarbeitung der Theorie verwendet werden kann.

Nun zu der von Galit Shmueli in Shmueli (2001) diskutierten Dichotomie . In dieser Arbeit vergleicht Shmueli die kausale Erklärung und Vorhersage der beobachteten Ergebnisse und argumentiert, dass dies unterschiedliche Aktivitäten sind. Insbesondere argumentiert sie, dass Kausalzusammenhänge auf zugrunde liegenden Konstrukten beruhen, die sich nicht direkt in messbaren Ergebnissen manifestieren, und daher „messbare Daten keine genauen Darstellungen ihrer zugrunde liegenden Konstrukte sind“ (S. 293). Sie argumentiert daher, dass es einen Aspekt der statistischen Analyse gibt, der Rückschlüsse auf nicht beobachtbare zugrunde liegende Kausalzusammenhänge beinhaltet, die sich nicht in messbaren kontrafaktischen Unterschieden in den Ergebnissen manifestieren.

Sofern ich nichts falsch verstehe, kann ich mit Recht sagen, dass diese Idee im Spannungsfeld zu den positivistischen Ansichten von Box und Friedman steht, wie sie im Zitat von Box dargestellt sind. Der positivistische Standpunkt besagt im Wesentlichen, dass es keine zulässigen metaphysischen "Konstrukte" gibt, die über diejenigen hinausgehen, die sich in messbaren Ergebnissen manifestieren. Positivismus beschränkt sich auf die Berücksichtigung von beobachtbaren Daten und darauf aufbauenden Konzepten; es schließt die Berücksichtigung von vornherein ausmetaphysische Konzepte. Ein Positivist würde daher argumentieren, dass der Begriff der Kausalität nur insoweit gültig sein kann, als er in Bezug auf messbare Ergebnisse in der Realität definiert ist - insoweit er als etwas anderes definiert ist (wie Shmueli es behandelt). Dies würde als metaphysische Spekulation angesehen und im wissenschaftlichen Diskurs als unzulässig behandelt.

Ich denke, Sie haben Recht - diese beiden Ansätze stehen im Wesentlichen in Konflikt. Der positivistische Ansatz von Box besteht darauf, dass gültige wissenschaftliche Konzepte vollständig in ihren Manifestationen in der Realität begründet sind, während der alternative Ansatz von Shmueli besagt, dass es einige "Konstrukte" gibt, die wichtige wissenschaftliche Konzepte sind (die wir erklären wollen), die dies aber nicht können perfekt vertreten sein, wenn sie "operationalisiert" sind, indem sie mit messbaren Ergebnissen in der Realität in Beziehung gesetzt werden.

Ein Modell zur Erklärung von Dingen ist eine Vereinfachung der Realität. Vereinfachung ist nur ein anderes Wort für "auf irgendeine nützliche Weise falsch". Wenn wir zum Beispiel die Zahl 3.1415926535898 auf 3.14 runden, machen wir einen Fehler, aber dieser Fehler ermöglicht es uns Menschen, uns auf den wichtigsten Teil dieser Zahl zu konzentrieren. Auf diese Weise werden Modelle zur Erklärung verwendet. Sie liefern Einblicke in einige Probleme, müssen aber notwendigerweise von vielen anderen Dingen abweichen: Wir Menschen sind einfach nicht sehr gut darin, tausende Dinge gleichzeitig zu betrachten. Wenn es uns in erster Linie um Vorhersagen geht, möchten wir diese Tausenden Dinge einbeziehen, wenn immer dies möglich ist. Die Erklärung des Kompromisses ist jedoch anders.

Ein Beispiel für ein Modell, das sich hervorragend vorhersagen lässt, aber nichts erklärt, findet sich im Wikipedia-Artikel „ Alle Modelle sind falsch “. Das Beispiel ist Newtons Gravitationsmodell. Newtons Modell liefert fast immer Vorhersagen, die nicht von empirischen Beobachtungen zu unterscheiden sind. Das Modell ist jedoch äußerst unplausibel: Es postuliert eine Kraft, die über beliebig große Entfernungen augenblicklich wirken kann.

Newtons Modell wurde durch das in Einsteins allgemeiner Relativitätstheorie angegebene Modell ersetzt. Bei der allgemeinen Relativitätstheorie bewegen sich die Gravitationskräfte mit endlicher Geschwindigkeit (Lichtgeschwindigkeit) durch den Raum.

Newtons Modell ist keine Vereinfachung des allgemein-relativistischen Modells. Betrachten Sie zur Veranschaulichung einen Apfel, der von einem Baum herunterfällt. Gemäß der allgemeinen Relativitätstheorie fällt der Apfel, ohne dass die Erde irgendeine Kraft auf den Apfel ausübt. (Der Hauptgrund, warum der Apfel fällt, ist, dass die Erde die Zeit verzieht, so dass die Uhren in der Nähe der Basis des Baumes langsamer laufen als die Uhren in der Höhe des Baumes.) Wie der Wikipedia-Artikel feststellt, ist Newtons Modell völlig falsch in einer Erklärung Perspektive.

Die Arbeit von Shmueli [2010] geht davon aus, dass es zwei Zwecke für ein Modell gibt: Vorhersage und Erklärung. Tatsächlich haben mehrere Autoren angegeben, dass es drei Zwecke gibt (siehe z. B. Konishi & Kitagawa [ Informationskriterien und statistische Modellierung , 2008 : § 1.1] und Friendly & Meyer [ Diskrete Datenanalyse , 2016: § 11.6]). Die drei Zwecke entsprechen den drei Arten der logischen Argumentation:

• Vorhersage (entsprechend Abzug);
• Parameterschätzung (entsprechend Induktion);
• Beschreibung der Struktur (entsprechend der Abduktion).

Ich habe ein Grundstudium in Statistik abgeschlossen und werde mich daher nicht als Experte bezeichnen, aber hier sind meine zwei Cent.

Modelle erklären sich nicht; Menschen interpretieren sie. Lineare Modelle sind einfacher zu verstehen als neuronale Netze und Zufallswälder, da sie näher an der Art und Weise sind, wie wir Entscheidungen treffen. In der Tat ahmen ANNs das menschliche Gehirn nach, aber Sie entscheiden nicht, in welches Restaurant Sie morgen gehen, indem Sie eine Reihe von Matrixmultiplikationen durchführen. Stattdessen gewichten Sie einige Faktoren in Ihrem Kopf nach ihrer Wichtigkeit, was im Wesentlichen eine lineare Kombination ist.

"Erklärungskraft" misst, wie gut ein Modell mit der Intuition des Menschen zurechtkommt, während "Vorhersagekraft" misst, wie gut es mit dem zugrunde liegenden Mechanismus des interessierenden Prozesses übereinstimmt. Der Widerspruch zwischen ihnen ist im Wesentlichen die Kluft zwischen dem, was die Welt ist und wie wir sie wahrnehmen / verstehen können. Ich hoffe, dies erklärt, warum "einige Modelle gut erklären, obwohl sie schlecht vorhersagen können".

Ian Stewart sagte einmal: "Wenn unser Gehirn so einfach wäre, dass wir es verstehen könnten, wären wir so einfach, dass wir es nicht könnten." Leider sind unsere kleinen menschlichen Gehirne im Vergleich zum Universum oder sogar zu einer Börse (an der viele Gehirne beteiligt sind) sehr einfach. Bis jetzt sind alle Modelle Produkte des menschlichen Gehirns, daher muss es mehr oder weniger ungenau sein, was zu Box 'Alle Modelle sind falsch' führt. Andererseits muss ein Modell nicht technisch korrekt sein, um nützlich zu sein. Zum Beispiel wurden Newtons Bewegungsgesetze von Einstein widerlegt, aber es bleibt nützlich, wenn ein Objekt nicht lächerlich groß oder schnell ist.

Um Ihre Frage zu beantworten, kann ich ehrlich gesagt die Inkompatibilität zwischen Box und Shmuelis Punkten nicht erkennen. Es scheint, dass Sie "Erklärungskraft" und "Vorhersagekraft" als binomische Eigenschaften betrachten, aber ich denke, sie sitzen an den beiden Enden eines Spektrums.