Aus meiner Sicht gibt es zwei grundlegende Probleme mit Beobachtungsstudien, die eine Reihe unabhängiger Variablen "kontrollieren". 1) Sie haben das Problem, dass erklärende Variablen fehlen und somit Modellfehlspezifikationen auftreten. 2) Sie haben das Problem mehrerer korrelierter unabhängiger Variablen - ein Problem, das in (gut) entworfenen Experimenten nicht existiert - und die Tatsache, dass Regressionskoeffizienten und ANCOVA-Tests von Kovariaten auf Partials basieren, was ihre Interpretation erschwert. Die erste ist der Natur der Beobachtungsforschung eigen und wird im wissenschaftlichen Kontext und im Prozess der Wettbewerbsausarbeitung behandelt. Letzteres ist eine Frage der Bildung und beruht auf einem klaren Verständnis der Regressions- und ANCOVA-Modelle und genau dessen, was diese Koeffizienten darstellen.
In Bezug auf das erste Problem lässt sich leicht nachweisen, dass statistische Kontrollmethoden wirksam sind und gute Vorhersagen und Schätzungen der Auswirkungen für einzelne Variablen liefern, wenn alle Einflüsse auf eine abhängige Variable bekannt sind und in einem Modell enthalten sind. Das Problem in den "Soft Sciences" ist, dass alle relevanten Einflüsse selten einbezogen oder sogar bekannt sind und daher die Modelle schlecht spezifiziert und schwer zu interpretieren sind. In diesen Bereichen gibt es jedoch viele lohnende Probleme. Den Antworten fehlt einfach die Gewissheit. Das Schöne am wissenschaftlichen Prozess ist, dass er sich selbst korrigiert und Modelle hinterfragt, ausgearbeitet und verfeinert werden. Die Alternative besteht darin, vorzuschlagen, dass wir diese Probleme nicht wissenschaftlich untersuchen können, wenn wir keine Experimente entwerfen können.
Das zweite Problem ist ein technisches Problem in Form von ANCOVA- und Regressionsmodellen. Analysten müssen sich darüber im Klaren sein, was diese Koeffizienten und Tests darstellen. Korrelationen zwischen den unabhängigen Variablen beeinflussen Regressionskoeffizienten und ANCOVA-Tests. Sie sind Teiltests. Diese Modelle nehmen die Varianz in einer bestimmten unabhängigen Variablen und der abhängigen Variablen heraus, die allen anderen Variablen im Modell zugeordnet sind, und untersuchen dann die Beziehung in diesen Residuen. Infolgedessen sind die einzelnen Koeffizienten und Tests außerhalb des Kontextes eines klaren konzeptionellen Verständnisses des gesamten enthaltenen Variablensatzes und ihrer Wechselbeziehungen sehr schwer zu interpretieren. Dies führt jedoch zu KEINEN Problemen bei der Vorhersage - seien Sie nur vorsichtig bei der Interpretation bestimmter Tests und Koeffizienten.
Eine Randnotiz: Das letztere Problem bezieht sich auf ein Problem, das zuvor in diesem Forum zur Umkehrung von Regressionszeichen - z. B. von negativ zu positiv - erörtert wurde, wenn andere Prädiktoren in ein Modell eingeführt werden. Bei Vorhandensein korrelierter Prädiktoren und ohne ein klares Verständnis der vielfältigen und komplexen Beziehungen zwischen dem gesamten Satz von Prädiktoren gibt es keinen Grund, einen (von Natur aus partiellen) Regressionskoeffizienten mit einem bestimmten Vorzeichen zu ERWARTEN. Wenn es eine starke Theorie und ein klares Verständnis dieser Wechselbeziehungen gibt, können solche Vorzeichen "Umkehrungen" aufschlussreich und theoretisch nützlich sein. Angesichts der Komplexität vieler sozialwissenschaftlicher Probleme wäre ein ausreichendes Verständnis nicht üblich, würde ich erwarten.
Haftungsausschluss: Ich bin ausgebildeter Soziologe und Politologe.