Modellmittelungsansatz - Mittelungskoeffizientenschätzungen im Vergleich zu Modellvorhersagen?

Ich habe eine grundlegende Frage zu Ansätzen zur Modellmittelung unter Verwendung von IT-Kriterien zur Gewichtung von Modellen innerhalb eines Kandidatensatzes.

Die meisten Quellen, die ich zur Modellmittelung gelesen habe, befürworten die Mittelung der Parameterkoeffizientenschätzungen auf der Grundlage der Modellgewichte (entweder unter Verwendung eines "natürlichen Durchschnitts" oder einer "Null-Durchschnitt" -Methode). Ich hatte jedoch den Eindruck, dass die Mittelung und Gewichtung der Vorhersagen jedes Modells anstelle der Parameterkoeffizientenschätzungen auf der Grundlage der Modellgewichte ein einfacherer und gerechtfertigterer Ansatz ist, insbesondere wenn Modelle mit nicht verschachtelten Prädiktorvariablen verglichen werden.

Gibt es klare Leitlinien, welcher Ansatz zur Modellmittelung am besten gerechtfertigt ist (Mittelung gewichteter Parameterschätzungen gegenüber gewichteten Vorhersagen)? Gibt es auch weitere Komplikationen bei der Modellmittelung der Koeffizientenschätzungen bei gemischten Modellen?

In linearen Modellen erhalten Sie durch Mittelwertbildung über Koeffizienten dieselben vorhergesagten Werte wie die vorhergesagten Werte aus Mittelwertbildung über Vorhersagen, erhalten jedoch mehr Informationen. Viele Expositionen befassen sich mit linearen Modellen und werden daher über Koeffizienten gemittelt.

Sie können die Äquivalenz mit etwas linearer Algebra überprüfen. Angenommen, Sie haben Beobachtungen und N Prädiktoren. Sie sammeln diese in der T × N Matrix X . Sie haben auch M Modelle, von denen jedes den N Prädiktoren eine Koeffizientenschätzung β m zuweist . Stapeln Sie diese Koeffizientenschätzungen in der N × M- Matrix β . Mittelwertbildung bedeutet, dass Sie jedem Modell m Gewichte w m zuweisen (Gewichte sind normalerweise nicht negativ und summieren sich zu eins). Setzen Sie diese Gewichte in den Vektor w der Länge$T$$N$$T\times N$$\mathbf{X}$$M$$\beta_m$$N$$N \times M$$\mathbf{\beta}$$w_m$$m$$\mathbf{w}$ .$M$

Vorhergesagte Werte für jedes Modell sind gegeben durch y m = X β m , oder, in dem gestapelten Notation y = X β vorausgesagten Werte von den Mittelungs über Vorhersagen sind gegeben durch y w = ( X β ) w , wenn Sie über Koeffizienten - Durchschnittswert Schätzungen berechnen Sie stattdessen β w = β w Und die vorhergesagten Werte aus den Mittelungskoeffizienten sind gegeben durch X β w = X ( β w )$\mathbf{\hat{y}}_m = \mathbf{X}\beta_m$

$$\mathbf{\hat{y}} = \mathbf{X}\mathbf{\beta}$$ $$\mathbf{\hat{y}} \mathbf{w} = (\mathbf{X}\mathbf{\beta})\mathbf{w}$$ $$\mathbf{\beta}_w = \mathbf{\beta}\mathbf{w}$$ $$\mathbf{X\beta}_w = \mathbf{X}(\mathbf{\beta}\mathbf{w})$$ Die Äquivalenz zwischen den vorhergesagten Werten für beide Ansätze ergibt sich aus der Assoziativität des Matrixprodukts. Da die vorhergesagten Werte gleich sind, können Sie auch einfach den Durchschnitt der Koeffizienten berechnen: Dies gibt Ihnen mehr Informationen, falls Sie beispielsweise die Koeffizienten für einzelne Prädiktoren betrachten möchten.

In nichtlinearen Modellen gilt die Äquivalenz normalerweise nicht mehr, und dort ist es in der Tat sinnvoll, stattdessen über Vorhersagen zu mitteln. Die umfangreiche Literatur über Mittelung über die Prognosen (Prognose Kombinationen) ist zum Beispiel zusammengefasst hier .