Warum ist eine Projektionsmatrix einer orthogonalen Projektion symmetrisch?

Ich bin ziemlich neu darin, also hoffe ich, dass Sie mir vergeben, wenn die Frage naiv ist. (Kontext: Ich lerne Ökonometrie aus Davidson & MacKinnons Buch "Econometric Theory and Methods" und sie scheinen dies nicht zu erklären. Ich habe mir auch Luenbergers Optimierungsbuch angesehen, das sich mit Projektionen auf einem etwas fortgeschritteneren Niveau befasst, aber ohne glück).

Nehmen wir an, dass ich eine orthogonale Projektion zugeordnet ist Projektionsmatrix . Ich bin daran interessiert, jeden Vektor in in einen Unterraum projizieren . $\mathbb P$ $\bf P$ $\mathbb{R}^n$ $A \subset \mathbb{R}^n$

Frage : Warum folgt , ist symmetrisch? Welches Lehrbuch könnte ich mir für dieses Ergebnis ansehen? $\bf{P}=P$ $^T$ $\bf P$

regression least-squares

— weez13
quelle

en.wikipedia.org/wiki/…

— whuber

Antworten:

Dies ist ein grundlegendes Ergebnis der linearen Algebra bei orthogonalen Projektionen. Ein relativ einfacher Ansatz lautet wie folgt. Wenn orthonormale Vektoren sind, die einen dimensionalen Unterraum überspannen , und die Matrix mit den als Spalten ist, dann ist Dies folgt direkt aus der Tatsache, dass die orthogonale Projektion von auf als orthonormale Basis von als berechnet werden kann Es folgt direkt aus der obigen Formel $u_1, \ldots, u_m$ $m$ $A$ $\mathbf{U}$ $n \times p$ $u_i$

P = U U^{T} .

$\mathbf{P} = \mathbf{U}\mathbf{U}^T.$

x

$x$

A

$A$

A

$A$

\sum_{i = 1}^{m} u_{i} u_{i}^{T} x .

$\sum_{i=1}^m u_i u_i^T x.$

P^{2} = P

$\mathbf{P}^2 = \mathbf{P}$ und das

P^{T} = P .

$\mathbf{P}^T = \mathbf{P}.$

Es ist auch möglich, ein anderes Argument anzugeben. Wenn eine Projektionsmatrix für eine orthogonale Projektion ist, dann per Definition für alle Folglich ist für alle . Dies zeigt, dass , woraus $\mathbf{P}$ $x,y \in \mathbb{R}^n$

P x ⊥ y - P y .

$\mathbf{P}x \perp y-\mathbf{P}y.$

0 = (P x)^{T} (y - P y) = x^{T} P^{T} (I - P) y = x^{T} (P^{T} - P^{T} P) y

$0 = (\mathbf{P} x)^T (y - \mathbf{P}y) = x^T \mathbf{P}^T (I - \mathbf{P}) y = x^T (\mathbf{P}^T - \mathbf{P}^T \mathbf{P}) y$

x, y \in R^{n}

$x, y \in \mathbb{R}^n$

P^{T} = P^{T} P

$\mathbf{P}^T = \mathbf{P}^T \mathbf{P}$

P = (P^{T})^{T} = (P^{T} P)^{T} = P^{T} P = P^{T} .

$\mathbf{P} = (\mathbf{P}^T)^T = (\mathbf{P}^T \mathbf{P})^T = \mathbf{P}^T \mathbf{P} = \mathbf{P}^T.$

— NRH
quelle

Vielen Dank für Ihre aufschlussreichen Kommentare! Irgendwie hat mich der Wikipedia-Artikel, in dem etwas über die Selbstadjustiertheit des Projektionsoperators erwähnt wurde, abgelehnt, da Ihre Beweise nicht so schwierig sind. :) Übrigens, hast du einen Lieblingstext für lineare Algebra, der sich mit solchen Dingen befasst?

— weez13

Das Buch über die elementare lineare Algebra, von dem ich am besten weiß, behandelt dies nicht. Die besten Referenzen, die ich kenne, sind fortgeschrittene Bücher zur Funktionsanalyse. Das Buch mit der linearen Algebra sieht gut aus, aber ich weiß es nicht.

— NRH

Anmerkung: Die Antwort von NRH geht von . Das heißt, der einzige Fall, in dem (wie in der Gleichung ) beansprucht wird, liegt vor, wenn weil für jede lineare Abbildung und Vektor giltDies hat keinen wirklichen Einfluss auf das Ergebnis des Beweises, da die Implikation, dass ist, in beiden Fällen zutrifft, aber ich dachte, es wäre erwähnenswert.

x = x^{T}

$x = x^T$

(P x)^{T} = x P^{T}

$(Px)^T = xP^T$

(P x)^{T} (y - P y) = x P^{T} (I - P) y

$(Px)^T(y-Py)=xP^T(I-P)y$

x = x^{T}

$x = x^T$

P

$P$

x

$x$

(P x)^{T} = x^{T} P^{T} .

$(Px)^T = x^TP^T.$

P^{T} - P^{T} P = 0

$P^T - P^TP = 0$

— Milan Mosse

@Milan Danke, dass du es bemerkt hast. Beachten Sie, dass für nur möglich ist, wenn , was uninteressant ist. Was einfach passiert ist, dass ein paar Transponierungen auf den in der vorletzten Zeile verloren gegangen sind . Ich habe die fehlenden Transponierten wiederhergestellt, um die Algebra zu korrigieren.

x = x^{T}

$x=x^T$

x \in R^{n}

$x\in\mathbb{R}^n$

n = 1

$n=1$

x

$x$

— whuber

Ein Versuch der geometrischen Intuition ... Erinnern Sie sich daran:

Eine symmetrische Matrix ist selbstadjunkt.
Ein Skalarprodukt wird nur durch die Komponenten im gegenseitigen linearen Raum (und unabhängig von den orthogonalen Komponenten eines der Vektoren) bestimmt.

Was Sie "sehen" wollen, ist, dass eine Projektion sich selbst anpasst, also symmetrisch ist - nach (1). Warum ist das so? Betrachten Sie das Skalarprodukt eines Vektors mit der Projektion eines zweiten Vektors : . Nach (2) hängt das Produkt nur von den Komponenten von im Bereich der Projektion von . Das Produkt sollte also dasselbe sein wie und auch nach demselben Argument. $x$ $A$ $y$ $\langle x,Ay \rangle$ $x$ $y$ $\langle Ax,Ay \rangle$ $\langle Ax,y\rangle$

Da selbstadjunkt ist, ist es symmetrisch. $A$

— JohnRos
quelle

Danke vielmals! Bevor ich Ihren Kommentar las, war ich ziemlich verwirrt darüber, warum Selbstadjointness hier entscheidend ist. Jetzt habe ich eine Ahnung, danke!

— weez13