Lineare Regressionseffektgrößen bei Verwendung transformierter Variablen

Bei der Durchführung einer linearen Regression ist es häufig nützlich, eine Transformation wie eine logarithmische Transformation für die abhängige Variable durchzuführen, um eine bessere Normalverteilungskonformation zu erzielen. Oft ist es auch nützlich, Betas anhand der Regression zu untersuchen, um die Effektgröße / tatsächliche Relevanz der Ergebnisse besser beurteilen zu können.

Dies wirft das Problem auf, dass bei Verwendung der z. B. Protokolltransformation die Effektgrößen in der Protokollskala liegen, und mir wurde gesagt, dass aufgrund der Nichtlinearität der verwendeten Skala die Rücktransformation dieser Betas zu nicht aussagekräftigen Werten führt habe keine reale Verwendung.

Bisher haben wir normalerweise eine lineare Regression mit transformierten Variablen durchgeführt, um die Signifikanz zu untersuchen, und dann eine lineare Regression mit den ursprünglichen nicht transformierten Variablen, um die Effektgröße zu bestimmen.

Gibt es einen richtigen / besseren Weg, dies zu tun? Zum größten Teil arbeiten wir mit klinischen Daten. Ein Beispiel aus der Praxis wäre daher, zu bestimmen, wie sich eine bestimmte Exposition auf Variablen wie Größe, Gewicht oder eine Labormessung auswirkt, und wir möchten daraus schließen, dass Exposition A den Effekt hatte mit zunehmendem Gewicht um 2 kg ".

Ich würde vorschlagen, dass Transformationen nicht wichtig sind, um eine Normalverteilung für Ihre Fehler zu erhalten. Normalität ist keine notwendige Annahme. Wenn Sie "genug" Daten haben, wird der zentrale Grenzwertsatz aktiviert und Ihre Standardschätzungen werden asymptotisch normal. Alternativ können Sie Bootstrapping als nicht parametrisches Mittel verwenden, um die Standardfehler abzuschätzen. (Homoskedastizität, eine häufige Varianz für die Beobachtungen zwischen Einheiten, ist erforderlich, damit Ihre Standardfehler richtig sind. Robuste Optionen ermöglichen Heteroskedastizität.)

Stattdessen tragen Transformationen dazu bei, dass ein lineares Modell geeignet ist. Um dies zu verstehen, betrachten wir, wie wir die Koeffizienten in transformierten Modellen interpretieren können:

• Ergebnis sind Einheiten, Prädiktoren sind Einheiten: Eine Änderung des Prädiktors um eine Einheit führt zu einer Änderung des Ergebnisses um eine Beta-Einheit.
• Ergebnis in Einheiten, Prädiktor in Log-Einheiten: Eine Änderung des Prädiktors um ein Prozent führt zu einer Änderung des Ergebnisses um Beta / 100 Einheiten.
• Ergebnis in logarithmischen Einheiten, Prädiktor in Einheiten: Eine Änderung des Prädiktors um eine Einheit führt zu einer Änderung des Ergebnisses um Beta x 100%.
• Ergebnis in Log-Einheiten, Prädiktor in Log-Einheiten: Eine Änderung des Prädiktors um ein Prozent führt zu einer prozentualen Beta-Änderung des Ergebnisses.

Wenn Transformationen erforderlich sind, damit Ihr Modell sinnvoll ist (dh dass die Linearität erhalten bleibt), sollte die Schätzung aus diesem Modell zur Inferenz verwendet werden. Eine Schätzung eines Modells, von dem Sie nicht glauben, dass es nicht sehr hilfreich ist. Die obigen Interpretationen können sehr nützlich sein, um die Schätzungen aus einem transformierten Modell zu verstehen, und können für die vorliegende Frage häufig relevanter sein. Zum Beispiel mögen Ökonomen die Log-Log-Formulierung, weil die Interpretation von Beta eine Elastizität ist, ein wichtiges Maß in der Wirtschaft.

Ich würde hinzufügen, dass die Rücktransformation nicht funktioniert, weil die Erwartung einer Funktion nicht die Funktion der Erwartung ist; Das Protokoll des erwarteten Beta-Werts ist nicht der erwartete Wert des Beta-Protokolls. Daher ist Ihr Schätzer nicht unvoreingenommen. Dies wirft auch Standardfehler ab.

KURZE ANTWORT: Absolut richtig, die Rücktransformation des Beta-Wertes ist bedeutungslos. Sie können die Nichtlinearität jedoch als so etwas wie melden. "Wenn Sie 100 kg wiegen, erhöht das Essen von zwei Kuchenstücken pro Tag Ihr Gewicht in einer Woche um ungefähr 2 kg. Wenn Sie jedoch 200 kg wiegen, steigt Ihr Gewicht um 2,5 kg. Eine Darstellung dieser nichtlinearen Beziehung finden Sie in Abbildung 1 ( Abbildung 1 ist eine Anpassung der Kurve an die Rohdaten. "

LANGE ANTWORT:

Die Aussagekraft des rücktransformierten Werts variiert, aber wenn es richtig gemacht wird, hat es normalerweise eine Bedeutung.

Wenn Sie eine Regression der natürlichen Log-Werte auf zwei x-Prädiktoren mit einem Beta von 0,13 und einem Achsenabschnitt von 7,0 haben, ist die Rücktransformation von 0,13 (1,14) ziemlich bedeutungslos. Das ist richtig. Die Rücktransformation von 7.13 wird jedoch ein Wert sein, der mit einer gewissen Bedeutung interpretiert werden kann. Sie könnten dann die Rücktransformation von 7.0 subtrahieren und einen Restwert erhalten, der Ihr Effekt in einer aussagekräftigen Skala ist (152.2). Wenn Sie einen vorhergesagten Wert anzeigen möchten, müssen Sie ihn zuerst in Protokollwerten berechnen und dann rücktransformieren. Dies müsste für jeden vorhergesagten Wert separat durchgeführt werden und würde zu einer Kurve führen, wenn sie grafisch dargestellt wird.

Dies ist häufig sinnvoll, wenn Ihre Transformation nur relativ geringe Auswirkungen auf Ihre Daten hat. Die logarithmische Transformation von Reaktionszeiten ist eine Art von Wert, der zurücktransformiert werden kann. Wenn es richtig gemacht wird, werden Sie feststellen, dass die Werte nahe an den Medianwerten zu liegen scheinen, wenn Sie einfache Berechnungen für die Rohdaten durchführen.

Auch dann muss man mit Interaktionen und Nicht-Interaktionen vorsichtig sein. Die relativen Werte variieren über die Skala. Die Analyse war abhängig vom Protokollwert, während die rücktransformierten Werte unterschiedliche Muster aufweisen können, die Interaktionen so erscheinen lassen, als ob sie nicht vorhanden sein sollten oder umgekehrt. Mit anderen Worten, Sie können Dinge, die kleine Änderungen an den Daten vornehmen, zurücktransformieren, solange Sie vorsichtig sind.

Einige Änderungen, wie die logistische Transformation der Wahrscheinlichkeit, können sehr massive Auswirkungen haben, insbesondere gegen Ende der Skala. Ein Beispiel für einen Ort, an dem Sie niemals eine Rücktransformation durchführen sollten, sind Interaktionsdiagramme nahe dem oberen oder unteren Ende der Wahrscheinlichkeit.

Die Frage betrifft meiner Meinung nach marginale Effekte (von X auf Y), nicht so sehr die Interpretation einzelner Koeffizienten. Wie die Leute sinnvollerweise bemerkt haben, sind diese nur manchmal mit einer Effektgröße identifizierbar, z. B. wenn lineare und additive Beziehungen bestehen.

Wenn dies der Schwerpunkt ist, scheint die (konzeptionell, wenn nicht praktisch) einfachste Art, über das Problem nachzudenken, folgende zu sein:

Um den marginalen Effekt von X auf Y in einem linearen normalen Regressionsmodell ohne Interaktionen zu bekommen, Sie können an der Koeffizient auf X. Aber sehen Sie nur das nicht ganz genug ist , da nicht bekannt geschätzt wird. In jedem Fall ist das, was man wirklich für Randeffekte wünscht, eine Art Diagramm oder Zusammenfassung, die eine Vorhersage über Y für einen Wertebereich von X und ein Maß für die Unsicherheit liefert. Typischerweise möchte man den vorhergesagten Mittelwert Y und ein Konfidenzintervall, aber man möchte auch Vorhersagen für die vollständige bedingte Verteilung von Y für ein X. Diese Verteilung ist breiter als die Sigma-Schätzung des angepassten Modells, da sie die Unsicherheit über die Modellkoeffizienten berücksichtigt .

Für einfache Modelle wie dieses gibt es verschiedene geschlossene Lösungen. Für aktuelle Zwecke können wir sie ignorieren und stattdessen allgemeiner darüber nachdenken, wie dieser Randeffektgraph durch Simulation auf eine Weise erhalten werden kann, die mit beliebig komplexen Modellen umgeht.

Angenommen, Sie möchten die Auswirkungen der Variation von X auf den Mittelwert von Y und möchten alle anderen Variablen auf einige aussagekräftige Werte festlegen. Nehmen Sie für jeden neuen Wert von X eine Stichprobe der Größe B aus der Verteilung der Modellkoeffizienten. Eine einfache Möglichkeit, dies in R zu tun, besteht darin, anzunehmen, dass es mit Mittelwert coef(model)und Kovarianzmatrix normal ist vcov(model). Berechnen Sie für jeden Koeffizientensatz ein neues erwartetes Y und fassen Sie das Los mit einem Intervall zusammen. Fahren Sie dann mit dem nächsten Wert von X fort.

Es scheint mir, dass diese Methode von ausgefallenen Transformationen, die auf eine der Variablen angewendet werden, nicht beeinflusst werden sollte, vorausgesetzt, Sie wenden sie (oder ihre Inversen) auch in jedem Stichprobenschritt an. Wenn das angepasste Modell log (X) als Prädiktor hat, protokollieren Sie Ihr neues X, bevor Sie es mit dem abgetasteten Koeffizienten multiplizieren. Wenn das angepasste Modell sqrt (Y) als abhängige Variable hat, quadrieren Sie jeden vorhergesagten Mittelwert in der Stichprobe, bevor Sie sie als Intervall zusammenfassen.

Kurz gesagt, mehr Programmierung, aber weniger Wahrscheinlichkeitsberechnung und damit klinisch nachvollziehbare Randeffekte. Diese "Methode" wird in der politikwissenschaftlichen Literatur manchmal als CLARIFY bezeichnet, ist aber recht allgemein gehalten.