Lösen eines Problems der kleinsten Quadrate mit linearen Abhängigkeiten in Python

Ich muss lösen

\begin{aligned} \underset{x}{Mindest} ‖ EIN x - b ‖_{2}^{2}, \\ s . t . & \sum_{ich} x_{ich} = 1, \\ x_{ich} \geq 0, \forall ich . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Ich denke, es ist ein quadratisches Problem, mit dem es lösbar sein sollte CVXOPT sollte , aber ich kann nicht herausfinden, wie.

— tillsten
quelle

Ich hoffe, diese Frage ist für compsci nicht zu spezifisch.

— Tillsten

Geoff Oxberry: Nur eine Kuriosität, aber warum haben Sie den linearen Teil herausgeschnitten? Ich denke, es ist ein ziemlich ohnmächtiger Teil der Problembeschreibung, die Lösung wäre für eine nichtlineare Optimierung der kleinsten Quadrate ganz anders.

— Tillsten

Übrigens sind die anderen Änderungen großartig!

— Tillsten

Sie können dies einfach durch Ihren eigenen Code auf sehr effiziente Weise lösen. CVXOPT ist nicht erforderlich.

— Royi

Antworten:

Ich habe eine vollständige Antwort (unter dem Strich) geschrieben, bevor ich CVXPY entdeckte , das (wie CVX für MATLAB) all die harten Sachen für Sie erledigt und ein sehr kurzes Beispiel hat, das fast mit Ihrem hier identisch ist . Sie müssen nur die entsprechende Zeile durch ersetzen

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

Meine alte Antwort, es mit CVXOPT schwieriger zu machen:

Wenn Sie dem Vorschlag von Geoff folgen, Ihre Zielfunktion zu quadrieren, erhalten Sie

‖ EIN x - b ‖_{2}^{2} = ⟨ x^{T} {EIN}^{T} - b^{T}, EIN x - b ⟩ = x^{T} {EIN}^{T} EIN x - b^{T} EIN x - x^{T} EIN b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Natürlich sind alle Terme Skalare, so dass Sie den dritten transponieren und den letzten löschen können (da dies nicht von abhängt und daher nicht ändert, welches Ihnen ein Minimum gibt, obwohl Sie es wieder hinzufügen müssen in nach dem Lösen, um den korrekten Wert Ihres Ziels zu erhalten), um Dies (einschließlich Ihrer Einschränkungen) hat die Form eines quadratischen Programms, wie in angegeben die CVXOPT-Dokumentation hier , in der es auch Beispielcode zur Lösung eines solchen Problems gibt. $x$ $x$

x^{T} {EIN}^{T} EIN x - b^{T} (EIN + {EIN}^{T}) x

$x^TA^TAx - b^T(A + A^T)x$

— David Ketcheson
quelle

Anstelle des Problems, das Sie gelöst haben, lösen Sie

\begin{aligned} \underset{x}{Mindest} ‖ EIN x - b ‖_{2}^{2}, \\ s . t . & \sum_{ich} x_{ich} = 1, \\ x_{ich} \geq 0, \forall ich . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Dieses Problem ist ein differenzierbares, konvexes, nichtlineares Optimierungsproblem, das mit CVXOPT, IPOPT oder einem anderen konvexen Optimierungslöser gelöst werden kann.

— Geoff Oxberry
quelle