Umwandlung eines multivariaten linearen Modells in eine multiple Regression

Ist die Neugestaltung eines multivariaten linearen Regressionsmodells als multiple lineare Regression völlig gleichwertig? Ich beziehe mich nicht einfach laufen separate Regressionen. $t$

Ich habe an einigen Stellen gelesen (Bayesian Data Analysis - Gelman et al. Und Multivariate Old School - Marden), dass ein multivariates lineares Modell leicht als multiple Regression umparametriert werden kann . Keine der Quellen geht jedoch darauf ein. Sie erwähnen es im Wesentlichen nur und verwenden dann weiterhin das multivariate Modell. Mathematisch werde ich zuerst die multivariate Version schreiben,

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$ wobei die fett gedruckten Variablen Matrizen sind, deren Größe darunter liegt. Wie üblich sind Daten, ist die Entwurfsmatrix, sind normalverteilte Residuen und ist das, woraus wir Schlüsse ziehen möchten.

Y

$\mathbf{Y}$

X

$\mathbf{X}$

R

$\mathbf{R}$

B

$\mathbf{B}$

Um dies als die bekannte multiple lineare Regression neu zu parametrisieren, werden die Variablen einfach wie folgt umgeschrieben:

\underset{n t \times 1}{y} = \underset{n t \times n k}{D} \underset{n k \times 1}{β} + \underset{n t \times 1}{r},

$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$

wobei die verwendeten Umparametrierungen $\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ und $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ . $row()$ bedeutet, dass die Zeilen der Matrix Ende an Ende in einem langen Vektor angeordnet sind und $\otimes$ das kronecker- oder äußere Produkt ist.

Wenn dies so einfach ist, warum sollten Sie dann Bücher über multivariate Modelle schreiben, Statistiken für diese Modelle testen usw.? Am effektivsten ist es, zuerst die Variablen zu transformieren und übliche univariate Techniken zu verwenden. Ich bin mir sicher, dass es einen guten Grund gibt. Es fällt mir nur schwer, darüber nachzudenken, zumindest im Fall eines linearen Modells. Gibt es Situationen mit dem multivariaten linearen Modell und normalverteilten Zufallsfehlern, in denen diese Neuparametrisierung nicht angewendet wird, oder die die Analysemöglichkeiten einschränken, die Sie durchführen können?

Quellen, die ich gesehen habe: Marden - Multivariate Statistik: Old School. Siehe Abschnitte 5.3 - 5.5. Das Buch ist kostenlos erhältlich unter: http://istics.net/stat/

Gelman et al. - Bayesianische Datenanalyse. Ich habe die zweite Ausgabe, und in dieser Version gibt es einen kleinen Absatz in Kap. 19 'Multivariate Regressionsmodelle' mit dem Titel: "Das äquivalente univariate Regressionsmodell"

Können Sie im Grunde alles mit dem äquivalenten linearen univariaten Regressionsmodell machen, das Sie mit dem multivariaten Modell machen könnten? Wenn ja, warum überhaupt Methoden für multivariate lineare Modelle entwickeln?

Was ist mit Bayes'schen Ansätzen?

— bill_e
quelle

Das ist eine gute Frage. Vielleicht können Sie mehr als eine Struktur in Bezug auf Fundamente verlangen.

— Subhash C. Davar

Was meinen Sie mit Stiftungen und nicht mit Struktur? Könnten Sie näher darauf eingehen?

— bill_e

Beachten Sie bitte, dass ich im Rahmen meines Erst- und Aufbaustudiums vor langer Zeit nur zwei Artikel gelernt habe. Ich habe keine Erfahrung mit technischen Beschreibungen. Ich verstehe, dass die multivariate Analyse im Vergleich zu einer multiplen linearen Regression oder einem einfachen linearen Regressionsmodell andere Annahmen hat. Die Annahmen für die multivariate Analyse sind unterschiedlich, dh die mathematische Erwartung ist maßgeblich. Die multiple lineare Regression geht von bestimmten anderen Annahmen aus, die zu einer Heteroskedatistik führen. Die Struktur, die ich hier meine, bezieht sich auf Ihre Gleichungen.

— Subhash C. Davar

Sie sollten im Titel oder am Anfang klar sagen, ob Sie von einem multivariaten (allgemeinen) linearen Modell oder von einer bayesianischen multivariaten Regression sprechen .

— TTNPHNS

Ok, also ... es ist nicht mein Ansatz, ich wies auf zwei Stellen hin, an denen ich das gesehen habe. Der Ansatz ist der Kern des Problems. Was ist der Unterschied zwischen der multivariaten Version und der neu parametrisierten univariaten Version?

— bill_e

Antworten:

Können Sie im Grunde alles mit dem äquivalenten linearen univariaten Regressionsmodell machen, das Sie mit dem multivariaten Modell machen könnten?

Ich glaube die Antwort ist nein.

Wenn Ihr Ziel einfach darin besteht, entweder die Auswirkungen abzuschätzen (Parameter in ) oder auf der Grundlage des Modells weitere Vorhersagen zu treffen, spielt es ja keine Rolle, welche Modellformulierung zwischen den beiden besteht. $\mathbf{B}$

Um jedoch statistische Rückschlüsse zu ziehen, insbesondere um die klassischen Signifikanztests durchzuführen, erscheint die multivariate Formulierung praktisch unersetzbar. Lassen Sie mich genauer die typische Datenanalyse in der Psychologie als Beispiel nehmen. Die Daten von Probanden werden ausgedrückt als $n$

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$

$k-1$ $\mathbf{X}$ $t$ $\mathbf{Y}$

Mit der obigen Formulierung kann jede allgemeine lineare Hypothese leicht ausgedrückt werden als

L B M = C,

$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$

$\mathbf{L}$ $\mathbf{L}$ $\mathbf{C}$ $\mathbf{0}$

Die Schönheit des multivariaten Systems liegt in seiner Trennung zwischen den beiden Arten von Variablen, zwischen und innerhalb des Subjekts. Es ist diese Trennung, die die einfache Formulierung für drei Arten von Signifikanztests unter dem multivariaten Rahmen ermöglicht: das klassische multivariate Testen, das multivariate Testen mit wiederholten Messungen und das univariate Testen mit wiederholten Messungen. Darüber hinaus sind Mauchly-Tests auf Sphärizitätsverletzungen und die entsprechenden Korrekturmethoden (Greenhouse-Geisser und Huynh-Feldt) auch für univariate Tests im multivariaten System eine Selbstverständlichkeit. Genau so haben die Statistikpakete diese Tests implementiert, z. B. Auto in R, GLM in IBM SPSS Statistics und REPEATED-Anweisung in PROC GLM von SAS.

Ich bin mir nicht sicher, ob die Formulierung für die Bayes'sche Datenanalyse von Bedeutung ist, bezweifle jedoch, dass die oben genannte Testfähigkeit unter der univariaten Plattform formuliert und implementiert werden könnte.

— Bluepole
quelle

Ich verstehe, das macht Sinn. Vielen Dank für die tolle Antwort. Ich würde gerne auch eine bayesianische Perspektive hören.

— bill_e

@PeterRabbit Wenn Ihnen die Antwort gefällt, bedanken Sie sich bei bluepole, indem Sie seine Antwort akzeptieren. Er wird Punkte bekommen.

— Pteetor

Ich werde, ich habe nur ein bisschen nachgedacht, ob jemand eine Bayesianische Perspektive anbieten würde.

— bill_e

Beide Modelle sind gleichwertig, wenn Sie eine geeignete Varianz-Kovarianz-Struktur verwenden. In einem transformierten linearen Modell müssen wir die Varianz-Kovarianz-Matrix der Fehlerkomponente an das kronecker-Produkt anpassen, das in der verfügbaren Computersoftware nur begrenzt verfügbar ist. Die lineare Modelltheorie mit univariaten, multivariaten und gemischten Modellen ist eine hervorragende Referenz für dieses Thema.

Bearbeitet

Hier ist eine weitere nette Referenz frei verfügbar.

— MYaseen208
quelle

Oh ok, also in einem normalen univariaten Modell gibt es keine Art von Kovarianzstruktur "innerhalb" der DVs. Daher gibt es keine damit verbundenen Hypothesentests. Vielen Dank! Ich werde sehen, ob ich das Buch abholen kann.

— bill_e