Ist die PCA-Optimierung konvex?

Die objektive Funktion der Hauptkomponentenanalyse (PCA) ist die Minimierung des Rekonstruktionsfehlers in der L2-Norm (siehe Abschnitt 2.12 hier) . Eine andere Ansicht versucht, die Varianz bei der Projektion zu maximieren. Wir haben auch hier einen ausgezeichneten Beitrag: Was ist die objektive Funktion der PCA? ? ).

Meine Frage ist, dass die PCA-Optimierung konvex ist? (Ich habe hier einige Diskussionen gefunden , aber ich wünschte, jemand könnte hier im Lebenslauf einen netten Beweis erbringen).

Nein, die üblichen Formulierungen von PCA sind keine konvexen Probleme. Sie können jedoch in ein konvexes Optimierungsproblem umgewandelt werden.

Die Einsicht und der Spaß daran besteht darin, die Abfolge der Transformationen zu verfolgen und zu visualisieren, anstatt nur die Antwort zu erhalten: Sie liegt in der Reise, nicht im Ziel. Die Hauptschritte auf diesem Weg sind

1. Erhalten Sie einen einfachen Ausdruck für die Zielfunktion.

2. Vergrößern Sie seine nicht konvexe Domäne in eine solche.

3. Ändern Sie das nicht konvexe Ziel in eines, das offensichtlich die Punkte, an denen es seine optimalen Werte erreicht, nicht verändert.

Wenn Sie genau hinschauen, können Sie die SVD- und Lagrange-Multiplikatoren lauern sehen - aber sie sind nur eine Nebenschau, da für landschaftliches Interesse, und ich werde sie nicht weiter kommentieren.

---

Die standardmäßige varianzmaximierende Formulierung von PCA (oder zumindest dessen Schlüsselschritt) ist

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

wobei die Matrix A eine symmetrische, positiv-semidefinite Matrix ist, die aus den Daten aufgebaut ist (üblicherweise ihre Summe aus Quadraten und Produktmatrix, ihre Kovarianzmatrix oder ihre Korrelationsmatrix).$n\times n$$\mathbb A$

(Entsprechend können wir versuchen, das nicht beschränkte Ziel zu maximieren . Dies ist nicht nur ein unangenehmerer Ausdruck - es ist keine quadratische Funktion mehr -, sondern die grafische Darstellung von Sonderfällen zeigt schnell, dass es keine konvexe Funktion ist Normalerweise beobachtet man, dass diese Funktion bei Neuskalierungen x → λ x invariant ist und reduziert sie dann auf die eingeschränkte Formulierung ( ∗ ) .)$x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

Jedes Optimierungsproblem kann abstrakt formuliert werden als

Finden Sie mindestens ein , das die Funktion f : X → R so groß wie möglich macht.$x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

Denken Sie daran, dass ein Optimierungsproblem konvex ist, wenn es zwei separate Eigenschaften aufweist:

1. Die Domäne ist konvex. $\mathcal{X}\subset\mathbb{R}^n$ Dies kann auf viele Arten formuliert werden. Eine ist, dass, wann immer und y ∈ X und 0 ≤ λ ≤ 1 , λ x + ( 1 - λ ) y $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$ auch. Geometrisch: wenn zwei Endpunkte eines Liniensegments liegen in X , das gesamte Segment liegt in X .$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. Die Funktion ist konvex. $f$ Dies kann auch auf viele Arten formuliert werden. Einer ist , dass , wenn und y ∈ X und 0 ≤ λ ≤ 1 , f ( λ x + ( 1 - λ ) y ) ≥ λ f ( x ) + ( 1 - λ ) f ( y ) . (Wir brauchten $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$ für diesen Zustand sein , um konvex zu machen beliebigen Sinn.) Geometrisch: Wann immer ein Liniensegment in $\bar{xy}$$\mathcal X$ , liegt der Graph von (wie auf dieses Segment beschränkt) über oder auf dem Verbindungssegment ( x , f ( x ) ) und ( y , f ( y ) ) in R n + 1 .$f$$(x,f(x))$$(y,f(y))$$\mathbb{R}^{n+1}$

   Der Archetyp einer konvexen Funktion ist lokal überall parabolisch mit nicht positivem Leitkoeffizienten: Auf jedem Liniensegment kann er in der Form y → a y 2 + ausgedrückt werden mit a ≤ 0$y\to a y^2 + b y + c$$a \le 0.$

Eine Schwierigkeit bei ist, dass X die Einheitskugel S n - 1 ⊂ R n ist , die entschieden nicht konvex ist. $(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ Wir können dieses Problem jedoch ändern, indem wir kleinere Vektoren einbeziehen. Das liegt daran, dass wenn wir mit einem Faktor λ skalieren , f mit λ 2 multipliziert wird . Wenn 0 < x ' x < 1 ist , können wir skalieren$x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$ durch Multiplizieren mit λ = 1 / √ auf Einheitslänge$x$, wodurchErhöhungfaber innerhalb der Einheitskugel bleibtDn={x∈ R n|x'x≤1}. Lasst uns also(∗)umformulierenals$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

Seine Domäne ist was eindeutig konvex ist, also sind wir auf halber Strecke. Es bleibt die Konvexität des Graphen von f zu berücksichtigen .$\mathcal{X}=D^n$$f$

Ein guter Weg, um über das Problem nachzudenken - auch wenn Sie nicht vorhaben, die entsprechenden Berechnungen durchzuführen - ist der Spektralsatz. $(**)$ Es heißt, dass man mittels einer orthogonalen Transformation mindestens eine Basis von R n finden kann, in der A diagonal ist:$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

wobei alle nicht diagonalen Einträge von Null sind. Eine solche Wahl von P kann so verstanden werden, dass sie überhaupt nichts an A ändert, sondern nur die Art und Weise, wie Sie es beschreiben : Wenn Sie Ihren Standpunkt drehen, werden die Achsen der Ebenenhyperseiten der Funktion x → x ′ A x (welche waren immer Ellipsoide) mit den Koordinatenachsen ausgerichtet.$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

Since $\mathbb A$ is positive-semidefinite, all the diagonal entries of $\Sigma$ must be non-negative. We may further permute the axes (which is just another orthogonal transformation, and therefore can be absorbed into $\mathbb P$) to assure that

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

If we let $x=\mathbb{P}^\prime y$ be the new coordinates $x$ (entailing $y=\mathbb{P}x$), the function $f$ is

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

Diese Funktion ist definitiv nicht konvex! Sein Graph sieht aus wie ein Teil eines Hyperparaboloids: An jedem Punkt im Inneren von führt die Tatsache, dass alle σ i nicht negativ sind, dazu, dass es sich eher nach oben als nach unten kräuselt . $\mathcal X$$\sigma_i$

Allerdings können wir uns wenden in ein konvexes Problem mit einer sehr nützlicher Technik. $(**)$ Das Wissen , dass die maximal auftreten wird , wo , lassen Sie sich die Konstante subtrahiert σ 1 aus F , zumindest für die Punkte an der Grenze von X . Dadurch werden die Positionen von Punkten auf der Grenze, an denen f optimiert wird, nicht geändert , da alle Werte von f auf der Grenze um denselben Wert σ 1 gesenkt werden . Dies schlägt vor, die Funktion zu untersuchen$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

This indeed subtracts the constant $\sigma_1$ from $f$ at boundary points, and subtracts smaller values at interior points. This will assure that $g$, compared to $f$, has no new global maxima on the interior of $\mathcal X$.

Let's examine what has happened with this sleight-of-hand of replacing $-\sigma_1$ by $-\sigma_1 y^\prime y$. Because $\mathbb P$ is orthogonal, $y^\prime y = x^\prime x$. (That's practically the definition of an orthogonal transformation.) Therefore, in terms of the $x$ coordinates, $g$ can be written

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Because $\sigma_1 \ge \sigma_i$ for all $i$, each of the coefficients is zero or negative. Consequently, (a) $g$ is convex and (b) $g$ is optimized when $x_2=x_3=\cdots=x_n=0$. ($x^\prime x=1$ then implies $x_1=\pm 1$ and the optimum is attained when $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$, which is--up to sign--the first column of $\mathbb P$.)

Let's recapitulate the logic. Because $g$ is optimized on the boundary $\partial D^n=S^{n-1}$ where $y^\prime y = 1$, because $f$ differs from $g$ merely by the constant $\sigma_1$ on that boundary, and because the values of $g$ are even closer to the values of $f$ on the interior of $D^n$, the maxima of $f$ must coincide with the maxima of $g$.

No.

Rank $k$ PCA of matrix $M$ can be formulated as

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

($\|\cdot\|_F$ is Frobenius norm). For derivation see Eckart-Young theorem.

Though the norm is convex, the set over which it is optimized is nonconvex.

---

A convex relaxation of PCA's problem is called Convex Low Rank Approximation

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

($\|\cdot\|_*$ is nuclear norm. it's convex relaxation of rank - just like $\|\cdot\|_1$ is convex relaxation of number of nonzero elements for vectors)

You can see Statistical Learning with Sparsity, ch 6 (matrix decompositions) for details.

If you're interested in more general problems and how they relate to convexity, see Generalized Low Rank Models.

Disclaimer: The previous answers do a pretty good job of explaining how PCA in its original formulation is non-convex but can be converted to a convex optimization problem. My answer is only meant for those poor souls (such as me) who are not so familiar with the jargon of Unit Spheres and SVDs - which is, btw, good to know.

My source is this lecture notes by Prof. Tibshirani

For an optimization problem to be solved with convex optimization techniques, there are two prerequisites.

1. The objective function has to be convex.
2. The constraint functions should also be convex.

Most formulations of PCA involve a constraint on the rank of a matrix.

In these type of PCA formulations, condition 2 is violated. Because, the constraint that $rank(X) = k,$ is not convex. For example, let $J_{11}$, $J_{22}$ be 2 × 2 zero matrices with a single 1 in the upper left corner and lower right corner respectively. Then, each of these have rank 1, but their average has rank 2.