Lineare Programmierung mit Matrixeinschränkungen

Überblick

Vielleicht möchten Sie eine Variante der ADMM- Methode ( Alternating Directions Method of Multipliers) ausprobieren, die bei Problemen vom Typ Lasso überraschend schnell konvergiert . Die Strategie besteht darin, das Problem mit einem erweiterten Lagrange zu formulieren und dann einen Gradientenanstieg auf das duale Problem durchzuführen. Besonders schön ist es für diese besondere regularisiert Problem , weil das nicht glatte Teil jeder Iteration des Verfahrens eine exakte Lösung hat , kann man einfach Element für Element zu bewerten, während der glatte Teil ein lineares System beinhaltet die Lösung. $l_1$ $l^1$

In diesem Beitrag haben wir

eine allgemeine ADMM-Formulierung für eine Verallgemeinerung Ihres Problems ableiten,
Leiten Sie die Teilprobleme für jede ADMM-Iteration ab und spezialisieren Sie sie auf Ihre Situation
Untersuchen Sie das resultierende lineare System, das bei jeder Iteration gelöst werden muss, und entwickeln Sie einen schnellen Löser (oder Vorkonditionierer), der auf der Vorberechnung der Eigenwertzerlegungen (oder von Annäherungen mit niedrigem Rang) für und basiert . $M^TM$ $YY^T$
fassen Sie mit einigen abschließenden Bemerkungen zusammen

Die meisten der großen Ideen hier werden in dem folgenden hervorragenden Übersichtsartikel behandelt:

Boyd, Stephen et al. "Verteilte Optimierung und statistisches Lernen über die Wechselrichtungsmethode von Multiplikatoren." Grundlagen und Trends® im maschinellen Lernen 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Bevor ich auf Details eingehe, möchte ich darauf hinweisen, dass dies eine Methode / Algorithmus-Antwort ist, keine praktische Antwort auf vorhandenen Code. Wenn Sie diese Methode verwenden möchten, müssen Sie Ihre eigene Implementierung rollen.

ADMM-Formulierung

Angenommen, Sie möchten im Allgemeinen

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Das Problem im ursprünglichen Beitrag fällt nach entsprechender Vektorisierung in diese Kategorie. (Dies ist nur im Prinzip - wir werden sehen, dass die Vektorisierung in der Praxis nicht durchgeführt werden muss)

Sie könnten stattdessen das entsprechende Problem lösen: mit Lagrange

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Die von Multiplikatoren löst das duale Problem über den Gradientenanstieg auf den dualen Variablen, außer mit ungenaue alternierende Projektionen auf die dualen Teilprobleme. Das heißt, man macht die Iteration

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

Unter bestimmten milden Bedingungen für die Parameter und (erläutert in dem oben verlinkten Boyd & Parikh-Artikel) konvergiert die ADMM-Methode zur wahren Lösung. Die Konvergenzrate ist linear, da es sich im Kern um eine Gradientenaufstiegsmethode handelt. Oft kann es beschleunigt werden, um superlinear zu sein, indem 1) die Parameter und basierend auf der Heuristik geändert werden oder 2) die Nesterov-Beschleunigung verwendet wird. Hinweise zum Ändern der Strafparameter finden Sie im Boyd-Umfragepapier. Informationen zur Verwendung der Nesterov-Beschleunigung mit ADMM finden Sie im folgenden Dokument: $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue und Simon Setzer. "Schnelle Methoden zur Optimierung der Richtungsänderung." CAM-Bericht (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Doch selbst wenn die Gesamtkonvergenzrate ist nur linear, für Probleme des Verfahren beobachtet wurde , sehr schnell die sparsity Muster zu finden, und dann konvergieren langsamer auf den exakten Werten. Da es am schwierigsten ist, das Sparsity-Muster zu finden, ist dies sehr zufällig! Die genauen Gründe dafür scheinen ein Bereich der aktuellen Forschung zu sein. Jeder sieht, dass das Sparsity-Muster schnell konvergiert, aber niemand scheint genau zu wissen, warum es passiert. Vor einiger Zeit habe ich Boyd und Parikh per E-Mail danach gefragt, und Parikh dachte, dies könnte durch die Interpretation der Methode in einem Kontrollsystemkontext erklärt werden. Eine weitere heuristische Erklärung des Phänomens findet sich im Anhang des folgenden Papiers: $l^1$

Goldstein, Tom und Stanley Osher. "Die Split-Bregman-Methode für L1-regulierte Probleme." SIAM Journal on Imaging Sciences 2.2 (2009): 323 & ndash; 343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Natürlich liegt die Schwierigkeit jetzt darin, die und Update-Teilprobleme für Ihre spezifische Situation zu lösen . Da der Lagrange in quadratisch ist , erfordert das Teilproblem der Aktualisierung lediglich die Lösung eines linearen Systems. Das Teilproblem scheint schwieriger zu sein, da es nicht differenzierbar ist, aber es stellt sich heraus, dass es eine genaue Formel für die Lösung gibt, die Element für Element angewendet werden kann! Wir diskutieren diese Teilprobleme nun detaillierter und spezifizieren sie für das Problem im ursprünglichen Beitrag. $x$ $z$ $z$ $z$ $x$

Setup für das Teilproblem update (lineares System) $z$

Für das Update haben wir $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Spezialisiert auf Ihr Problem wird dies:

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

Dabei bezeichnet die Frobenius- Norm (elementweise ). Dies ist ein quadratisches Minimierungsproblem, bei dem die Optimalitätsbedingungen erster Ordnung gefunden werden können, indem partielle Ableitungen des Objektivs in Bezug auf und und auf Null gesetzt werden. Dies ist $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Wie in den Kommentaren des Originalplakats Justin Solomon erwähnt, ist dieses System für symmetrisch, sodass der konjugierte Gradient eine ideale Methode ist. In einem späteren Abschnitt wird dieses System und seine Lösung / Vorkonditionierung ausführlicher beschrieben. $Z_J,Z_B$

Lösen des Update-Teilproblems (analytische Schwellenwertlösung) $x$

Nun wenden wir uns dem Teilproblem zu: $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Das erste, was zu sehen ist, ist, dass die Summe Element für Element aufgeteilt werden kann,

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

So können wir das Optimierungsproblem Element für Element parallel lösen und

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

Die allgemeine Form dieser Gleichung lautet

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

Die Absolutwertfunktion versucht, den optimalen Punkt in Richtung zu ziehen , während der quadratische Term versucht, den optimalen Punkt in Richtung zu ziehen . Die wahre Lösung liegt daher irgendwo auf dem Segment zwischen den beiden, wobei zunehmendes dazu neigt, den optimalen Punkt in Richtung zu ziehen , und abnehmendes den optimalen Punkt in Richtung zieht . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Dies ist eine konvexe Funktion, die jedoch bei Null nicht differenzierbar ist. Die Bedingung für einen Minimierungspunkt ist, dass das Subderivat des Objektivs an diesem Punkt Null enthält. Der quadratische Term hat die Ableitung , und die Absolutwertfunktion hat die Ableitung für , die festgelegte Subderivation als Intervall wenn , und die Ableitung für . Somit erhalten wir das Subderivativ für die Gesamtzielfunktion $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

Daraus sehen wir, dass das Subderivat des Ziels bei genau dann enthält, wenn , in diesem Fall ist der Minimierer. Wenn andererseits nicht der Minimierer ist, können wir die einwertige Ableitung gleich Null setzen und nach dem Minimierer auflösen. dies tun, erhalten Sie $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Spezialisieren Sie dieses Ergebnis erneut auf das eigentliche Problem, das wir in der ursprünglichen Frage zu lösen versuchen, wobei ergibt, Das Update für ist einfach $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

wie vom Originalplakat Justin Solomon in den Kommentaren vermerkt. Insgesamt erfordert das Update für nur das Durchlaufen der Einträge Ihrer Matrizen und das Auswerten der obigen Formeln für jeden Eintrag. $J,B$

Schur-Komplement für das System $Z_J,Z_B$

Der teuerste Schritt der Iteration ist das Lösen des Systems:

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

Zu diesem Zweck lohnt es sich, einen guten Löser / Vorkonditionierer für dieses System zu konstruieren. In diesem Abschnitt vektorisieren wir , bilden ein Schur-Komplement , führen einige Krnoecker-Produktmanipulationen durch und enthüllen dann. Das resultierende Schur-Komplementsystem ist eine leicht modifizierte Sylvester-Gleichung .

Im Folgenden sind folgende Identitäten zu Vektorisierung und Kronecker-Produkten absolut entscheidend:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , und
$(A \otimes B)^T = A^T \otimes B^T$ .

Diese Identitäten gelten immer dann, wenn die Matrixgrößen und die Invertierbarkeit so sind, dass jede Seite der Gleichung ein gültiger Ausdruck ist.

Die vektorisierte Form des Systems ist

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

oder

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

wobei und die komprimierte Notation für die rechte Seite sind. Jetzt führen wir eine Block-Gauß-Eliminierung / Schur-Ergänzung durch, um den unteren linken Block der Matrix zu eliminieren, wobei die Kronecker-Produkte kondensiert werden. Dies ist $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Die beiden Gleichungen, die wir nacheinander lösen müssen, sind:

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

Lösung des Schur-Komplementsystems, wenn quadratisch sind, hoher Rang $Y,M$

In diesem Abschnitt lösen wir das Schur-Komplementsystem für (Gleichung 1. oben), indem wir vorberechnete vollständige SVDs der Matrizen und eine modifizierte Version des Bartels-Stewart-Algorithmus für den Sylvester anwenden Gleichung. Der Algorithmus wurde gegenüber der Standardversion leicht modifiziert, um das zusätzliche im zweiten Term zu berücksichtigen , was ihn nicht ganz zur Sylvester-Gleichung macht. Sobald über die erste Gleichung gefunden wurde, kann leicht aus der zweiten Gleichung gefunden werden. Die zweite Gleichung ist trivial mit einer beliebigen Methode zu lösen. $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

Diese Methode erfordert Vorabkosten für die Vorberechnung von zwei vollständigen SVDs vor dem Start des ADMM-Prozesses, kann jedoch schnell in den tatsächlichen ADMM-Iterationen angewendet werden. Da sich die Methode mit vollständigen SVDs der Beschränkungsmatrizen befasst, ist es angemessen, wenn sie nahe am Quadrat liegen und einen hohen Rang haben. Eine kompliziertere Methode unter Verwendung von SVDs mit niedrigem Rang ist ebenfalls möglich, wird jedoch in einem späteren Abschnitt vorgestellt.

Das Verfahren entwickelt sich wie folgt. Lassen bezeichnet vorberechneten volle Singulärwertzerlegungen und kondensiert die rechte Seite zu sein . Dann wird die erste Gleichung: Multiplizieren durch die orthogonalen Faktoren, um links und rechts und ein neues temporäres Unbekanntes , wird dies weiter

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Jetzt können wir finden, indem wir das diagonale System lösen : $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

Nachdem wir gefunden haben , berechnen wir , und wenn wir , lösen wir die zweite Gleichung für , was trivial ist, da wir bereits die Eigenwertzerlegung für . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

Die Vorabkosten berechnen zwei symmetrische positive definitive Eigenwertzerlegungen von und , und dann wird die Kosten pro Iteration für eine vollständige Lösung von einer Handvoll Matrix-Matrix-Multiplikationen dominiert, die in der gleichen Größenordnung von liegen Größe wie 1 CG-Subiteration. Wenn die Vorab-Eigenwertzerlegungen zu kostspielig sind, können sie ungenau berechnet werden, indem beispielsweise die Lanczos-Iteration vorzeitig beendet und die größten Eigenvektoren beibehalten werden . Dann kann die Methode eher als guter Vorkonditionierer für CG als als direkter Löser verwendet werden. $M^TM$ $YY^T$

Lösungsverfahren, wenn sehr rechteckig sind oder eine Annäherung mit niedrigem Rang haben $M,Y$

Jetzt wenden wir uns der Lösung oder Vorkonditionierung von wenn entweder a) die Eingabematrizen sehr rechteckig sind - was bedeutet, dass sie viel mehr Zeilen als Spalten haben oder umgekehrt - oder b) sie eine Annäherung mit niedrigem Rang haben. Die folgende Ableitung beinhaltet die umfassende Verwendung der Woodbury-Formel, des Schur-Komplements und anderer ähnlicher Manipulationen. $Z_J,Z_B$ $M,Y$

Wir beginnen mit unserem Schur-Komplementsystem

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Einige Manipulationen transformieren dieses System in eine symmetrischere Form

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Jetzt bringen wir die Annäherungen mit niedrigem Rang ein. Sei entweder die reduzierte SVD oder die Annäherung von und niedrigem Rang ( ist ein Platzhalter und ist es nicht gebraucht). Wenn wir diese in unser System einsetzen, erhalten wir die folgende Matrixinverse, die wir anwenden möchten

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Da es sich bei der zu invertierenden Matrix um eine Aktualisierung der Identität mit niedrigem Rang handelt, besteht die logische Strategie darin, die Woodbury-Formel

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Es ist jedoch einige Sorgfalt erforderlich, da die niedrigrangigen Teile und nicht orthogonal sind. Um die Woodbury-Formel anzuwenden, sammeln wir beide Updates mit niedrigem Rang in einem einzigen großen Update. So salben und die Woodbury-Formel anwenden, ergibt, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

Die Kernumkehrung kann durch die blockweise 2x2-Umkehrformel berechnet werden

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Dieser Beitrag ist bereits lang genug, sodass ich die langen Details der Berechnung ersparen werde. Das Endergebnis ist jedoch, dass das Einfügen der erforderlichen Submatrizen in die blockweise Inverse und das Multiplizieren aller Elemente die folgende explizite Form für die gesamte Inverse ergibt

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

In dieser Form können wir die Umkehrung anwenden und durch 8 Multiplikationssandwiches für die linke und rechte Matrix finden. Die allgemeine Formel zum Anwenden der Summe der Kronecker-Produkte lautet $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Beachten Sie, dass alle expliziten Inversen, mit denen wir endeten, diagonal sind, sodass nichts "gelöst" werden muss.

Code des linearen Lösers

Ich habe die beiden oben genannten Löser in Matlab implementiert . Die scheinen gut zu funktionieren. Der Solver-Code ist hier. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Hier finden Sie ein Testskript zur Überprüfung der Funktionsweise der Löser. Es zeigt auch anhand eines Beispiels, wie der Solver-Code aufgerufen wird.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Abschließende Bemerkungen

ADMM-Methoden eignen sich gut für solche Probleme, aber Sie müssten Ihre eigene Implementierung rollen. Die Gesamtstruktur der Methode ist ziemlich einfach, so dass die Implementierung in so etwas wie MATLAB nicht allzu schwierig ist.

Das in diesem Beitrag fehlende Teil, das angegeben werden müsste, um die Methode für Ihr Problem vollständig zu definieren, ist eine Auswahl von Strafparametern . Glücklicherweise ist die Methode im Allgemeinen ziemlich robust, solange die Parameterwerte nicht verrückt sind. Das Boyd and Parikh-Papier enthält einen Abschnitt über die Strafparameter sowie die darin enthaltenen Referenzen, aber ich würde nur mit den Parametern experimentieren, bis Sie angemessene Konvergenzraten erhalten. $\alpha,\beta$

Die vorgestellten sind sehr effektiv, wenn die Beschränkungsmatrizen entweder a) dicht, quadratisch und hochrangig sind oder b) eine gute Näherung für niedrigen Rang haben. Ein weiterer nützlicher Solver , die ein Thema der zukünftigen Arbeit sein könnte , wäre ein Löser für folgenden Fall optimiert werden - die Beschränkungsmatrix spärlich und squareish und hohen Rang ist, aber es gibt einen guten Vorkonditionierer für . Dies wäre der Fall, wenn beispielsweise ein diskretisierter Laplace ist. $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Nick Alger
quelle

Implementieren Sie dies jetzt! Um dies zu überprüfen, sollte die Matrixlösung für und symmetrisch / positiv definitiv sein, da sie aus den kleinsten Quadraten stammt, oder? Dies scheint empirisch wahr zu sein :-). Ist CG eine bessere Option als GMRES?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

Auch denke ich, dass das Update für B falsch ist? Ich arbeite das genauer durch, aber erinnere mich, dass B nicht in meiner Energiefunktion erscheint (kein Term), daher bin ich mir nicht sicher, ob es nur Werte in annehmen sollte Denke ich falsch darüber nach? Vielen Dank!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[errr eher, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

Tolle! Nachdem ich meine eigenen Formeln für und (wahrscheinlich in der Nähe von dem, was Sie gepostet haben, aber etwas hat nicht funktioniert), übertrifft dies die IRLS-Methode bei weitem. Vielen Dank!

J

$J$

B

$B$

— Justin Solomon

Großartige Neuigkeiten. Es ist so schön zu sehen, wann Beiträge hier zu echten Ergebnissen führen.

— Michael Grant

Können Sie sich die erwähnten SVDs leisten, die Geoffrey Irving erwähnt hat? Wenn Sie können, würde ich einen iterativ neu gewichteten Ansatz der kleinsten Quadrate (IRLS) in Betracht ziehen. Dieser Ansatz würde Probleme der Form lösen wobei eine Gewichtsmatrix ist.

\begin{array}{ll} minimize & \sum_{i j} W_{i j} J_{i j}^{2} \\ subject to & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

Die Iterationen beginnen mit als All-One-Matrix; dies ergibt ein optimales . Die Iterationen werden mit wobei ist eine kleine Konstante, die die Division durch Null verhindert. Ich bin mir über die Konvergenzkriterien nicht ganz sicher, aber vielleicht kann Ihnen der oben angebotene Wikipedia-Link Hinweise geben. $W^{(0)}$ $J^{(0)}$

W_{i j}^{(k + 1)} = {| max {J_{i j}^{(k)}, ϵ} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

Sie können auch eine geglättete Methode erster Ordnung in Betracht ziehen. TFOCS, das ich mitautorisiert habe, könnte dies mit seinem SCD-Solver (Smoothed Conic Dual) handhaben, aber es wird nicht so einfach zu bedienen sein.

Wenn Sie eine matrixfreie Innenpunktmethode ausprobieren möchten, lesen Sie die Arbeit von Jacek Gondzio.

EDIT: hmm, es kann sein, dass IRLS die SVD nicht zur Berechnung von Lösungen verwenden kann. Wenn ja, würde ich auf eine der anderen Möglichkeiten zurückgreifen.

— Michael Grant
quelle

Ich bin mir nicht sicher, ob ich die SVD hier verwenden kann, aber IRLS ist trotzdem eine großartige Idee! Geschwindigkeit ist nicht so wichtig wie Erinnerung, und es ist mir peinlich, dass ich IRLS vor ein paar Monaten für eine verwandte Recherche verwendet habe, und es hat großartig funktioniert (ich habe mich selbst dafür getreten, dass ich das noch nie versucht habe!). Auch ohne die SVD für IRLS sollte dies mit einem linearen Löser wie CG möglich sein, der nicht das gesamte System benötigt. Tatsächlich kann CG wahrscheinlich mit ziemlich lockeren Einschränkungen gestoppt werden, bevor wie Sie vorschlagen. Ich habe auch einen ADMM-Ansatz untersucht, aber ich habe weniger Erfahrung damit.

W_{i j}

$W_{ij}$

— Justin Solomon

Ja, ADMM wäre auch großartig. Ich habe tatsächlich einen Abschnitt geschrieben, in dem vorgeschlagen wird, Y vollständig zu eliminieren, aber ich habe später gesehen, dass nicht quadratisch ist.

M

$M$

— Michael Grant

Implementierung der IRLS-Strategie - sie konvergiert, funktioniert aber numerisch nicht so gut, da das zu lösende lineare System dank einer Vielzahl von schlecht konditioniert ist . Verwenden von GMRES zur Lösung des Systems. Werde es als nächstes mit ADMM versuchen!

w

$w$

— Justin Solomon