Ist „zufällige Projektion“ streng genommen keine Projektion?

Aktuelle Implementierungen des Zufallsprojektionsalgorithmus reduzieren die Dimensionalität von Datenproben, indem sie von $\mathbb R^d$ auf $\mathbb R^k$ Verwendung einer $d\times k$ Projektionsmatrix $R$ abgebildet werden, deren Einträge aus einer geeigneten Verteilung stammen (zum Beispiel aus $\mathcal N(0,1)$ ):

$x^\prime = \frac{1}{\sqrt k}xR$

Praktischerweise gibt es theoretische Beweise dafür, dass diese Abbildung ungefähr paarweise Abstände beibehält.

Kürzlich habe ich jedoch diese Notizen gefunden , in denen der Autor behauptet, dass diese Abbildung mit einer Zufallsmatrix keine Projektion im strengen linearen algebraischen Sinne des Wortes ist (Seite 6). Aus den dort gegebenen Erklärungen geht hervor, dass die Spalten von $R$ nicht streng orthogonal sind, wenn ihre Einträge unabhängig von $\mathcal N(0,1)$ . Daher können frühere Versionen von RP, bei denen die Orthogonalität der Spalten von $R$ erzwungen wurde, als Projektion betrachtet werden.

Können Sie eine detailliertere Erklärung geben für (1) was ist die Definition einer Projektion in diesem strengen Sinne und (2) warum ist RP keine Projektion unter dieser Definition?.

1. Was ist die Definition einer Projektion in diesem strengen (linearen algebraischen) Sinne (des Wortes)?

   https://en.wikipedia.org/wiki/Projection_(linear_algebra)

   In der linearen Algebra und Funktionsanalyse, ist eine Projektion eine lineare Transformation $P$ von einem Vektorraum , um sich selbst , daß eine solche $P^2 = P$ . Das heißt, wenn $P$ zweimal auf einen Wert angewendet wird, ergibt sich das gleiche Ergebnis, als ob es einmal angewendet worden wäre (idempotent).

   Für die orthogonale Projektion oder Vektorprojektion haben Sie das

   https://en.wikipedia.org/wiki/Projection_(linear_algebra)

   Eine orthogonale Projektion ist eine Projektion, für die der Bereich U und der Nullraum V orthogonale Teilräume sind.

2. Warum ist RP keine Projektion unter dieser Definition?

   Michael Mahoney schreibt in Ihren Vorlesungsunterlagen, dass es davon abhängt, wie die RP aufgebaut ist , ob die RP eine Projektion im traditionellen linearen algebraischen Sinne ist oder nicht. Dies tut er im dritten und vierten Punkt:

   Drittens, wenn die Zufallsvektoren genau orthogonal wären (wie sie tatsächlich in den ursprünglichen JL-Konstruktionen waren), dann hätten wir, dass die JL-Projektion eine orthogonale Projektion wäre

   ...

   Obwohl dies für Gaußsche, $\lbrace \pm \rbrace$ Zufallsvariablen und die meisten anderen Konstruktionen falsch ist , kann man beweisen, dass die resultierenden Vektoren ungefähr Einheitslänge und ungefähr orthogonal sind

   ...

   das ist "gut genug".

   Sie können also im Prinzip die zufällige Projektion mit einer anderen Konstruktion durchführen, die auf orthogonale Matrizen beschränkt ist (obwohl dies nicht erforderlich ist). Siehe zum Beispiel das Originalwerk:

   Johnson, William B. und Joram Lindenstrauss. "Erweiterungen von Lipschitz-Mappings in einen Hilbert-Raum." Zeitgenössische Mathematik 26.189-206 (1984): 1.

   ... wenn man zufällig eine orthogonale Projektion mit Rang $k$ auf l n 2 wählt$l_2^n$

   ...

   $Q$$k$$l_2^n$$\sigma$$O(n)$$l_2^n$

   $$f: (O(n), \sigma) \to L(l_2^n)$$ $$f(u) = U^\star Q U$$ $k$

   Der Wikipedia-Eintrag beschreibt die zufällige Projektion auf diese Weise (dasselbe wird in den Vorlesungsunterlagen auf den Seiten 10 und 11 erwähnt).

   https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

   $S^{d − 1}$

   Diese Orthogonalität erhalten Sie jedoch im Allgemeinen nicht, wenn Sie alle Matrixeinträge in der Matrix als zufällige und unabhängige Variablen mit einer Normalverteilung verwenden (wie Whuber in seinem Kommentar mit einer sehr einfachen Konsequenz erwähnte: "Wenn die Spalten immer orthogonal wären, könnten ihre Einträge nicht unabhängig sein ").

   $R$$P = R^TR$$b = R^T x$$x' = Rb = R^TRx$$R^TR$

   $P=R^TR$$U$

   $range(P^T P)$$\lbrace 0, 1 \rbrace$

   ^{$P$$R$$P = R^TR$$R$}

   Eine zufällige Projektion durch verschiedene Konstruktionen, beispielsweise die Verwendung zufälliger Einträge in der Matrix, entspricht also nicht genau einer orthogonalen Projektion. Aber es ist rechnerisch einfacher und laut Michael Mahoney „gut genug“.

Das ist richtig: "Zufallsprojektion" ist streng genommen keine Projektion.

$P$$P^2 = P$

$d\times k$$R$$k\ll d$

$R$$d\times k$$U$

$d\times k$$R$$R$$x\in \mathbb R^d$$R$

$p = xR(R^TR)^{-1}R^T$$p\in\mathbb R^d$

$R$$R^TR = I\in \mathbb R^{k\times k}$$x$$R$

$p = xRR^T$$p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$$(RR^T)^2=RR^TRR^T=RR^T$

$R$$\mathbb R^k$$\mathbb R^d$$x\in\mathbb R^d$$xRR^T$$R$$RR^T$

Ich wäre Ihnen dankbar, wenn Sie meine Argumentation hier bestätigen / korrigieren könnten.

Referenz:

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

Wenn Sie vor der Fast Walsh Hadamard-Transformation ein umrechnungsfähiges Umkehren oder Permutieren von Zufallszeichen verwenden, ist die zufällige Projektion orthogonal.