Ist konvexe Optimierung in P?

Betrachten Sie ein konvexes Optimierungsproblem im Formular

\begin{aligned} f_{0} (x_{1}, \dots, x_{n}) & \to min \\ f_{i} (x_{1}, \dots, x_{n}) & \leq 0, i = 1, \dots, m \end{aligned}

$\begin{align} f_0(x_1, \ldots, x_n) &\to \min \\ f_i(x_1, \ldots, x_n) & \leq 0, \quad i = 1, \ldots, m \end{align}$

wobei $f_0, f_1, \dots, f_m$ konvexe Funktionen sind. Ohne Verlust der Allgemeinheit können wir annehmen, dass $f_0$ linear ist.

Nesterov und Nemirovskii erwähnen in ihrem Buch "Interior Point Polynomial Algorithmen in der konvexen Programmierung", dass es einen Algorithmus gibt, der jedes konvexe Programm in der Polynomzeit im folgenden Sinne lösen kann. Wir wollen eine Lösung mit einer relativen Genauigkeit $\varepsilon$ auf Kosten von $O(p(n,m) \ln (n/\varepsilon))$ Berechnungen der Werte und $O(q(n,m) \ln(n/\varepsilon))$ Berechnungen der Subgradienten. Dann wird für die Ellipsoidmethode behauptet, dass

p (n, m) = n^{3} (m + n), q (n, m) = n^{2}

$p(n,m) = n^3 (m+ n), \qquad q(n,m) = n^2$

Auf den ersten Blick scheint dies zu implizieren, dass ein konvexes Optimierungsproblem in Polynomzeit mit der Ellipsoidmethode gelöst werden kann (nehmen wir der Einfachheit halber an, dass die Orakel zur Berechnung der Werte und der Subgradienten $O(1)$ -Zeit für die betrachtete Klasse von benötigen konvexe Optimierungsprobleme).

Ich verstehe jedoch überhaupt nicht, ob die $O(\cdot)$ Ausdrücke irgendwie von den Funktionen $f_i$ abhängen , z. B. von ihren Hessen, oder nicht. In diesem Fall kann die Komplexität aufgrund der Krümmungseigenschaften der Funktionen ein exponentielles Aufblasen aufweisen. Darüber hinaus wird auf mysteriöse Weise behauptet, dass "die Ellipsoidmethode in der Praxis nicht gut funktioniert". Im Internet scheint es keinen Konsens zu geben, ob die Antwort auf meine Frage positiv oder negativ ist, siehe z. B. diese Diskussion zu MathOverflow.

Ich habe in jedem Buch über konvexe Optimierung gesucht, das ich finden konnte, und ich habe den Eindruck gewonnen, dass dieses zwar vom Problem abhängt, aber keine eindeutige Bestätigung dieser Vermutung finden konnte. Meine einzige Hoffnung ist es also, Leute, die auf diesem Gebiet forschen, direkt zu fragen. $O(\cdot)$

Später entwickelte innere Punktmethoden scheinen die Krümmung explizit unter Verwendung des Begriffs selbstkonkordanter Barrieren zu berücksichtigen. Wenn die Leute jedoch sagen, dass diese Methoden in der Praxis effizient sind, spezifizieren sie dies normalerweise nicht auf der Ebene der Komplexität.

convex-optimization complexity

— Sergey Dovgal
quelle

Diese Probleme (die subtil sein können) werden im Buch Geometrische Algorithmen und kombinatorische Optimierung von Groetschel, Lovasz und Schrijver ausführlich erläutert. Die grobe Antwort lautet, dass Sie mit der Ellipsoidmethode 1) nur eine annähernd realisierbare und annähernd optimale Lösung erhalten und 2) Sie eine Kugel mit dem Radius , die den realisierbaren Bereich enthält, und die Laufzeit auch von abhängt . Wenn man die Komplexität des Abrufs eines Verlaufs ignoriert, sollte es keine anderen versteckten Abhängigkeiten geben.

R

$R$

\log R

$\log R$

— Sasho Nikolov

In meinem Fall ist , daher ist meine Intuition, dass Barrieremethoden in einigen Fällen auch dann funktionieren können, wenn . Dies bedeutet jedoch, dass es keinen allgemeinen Satz gibt, dass es unabhängig von einen Polynomalgorithmus gibt.

R = \infty

$R = \infty$

R = \infty

$R = \infty$

R

$R$

— Sergey Dovgal

Mit "Barrieremethoden" meine ich Innenpunktmethoden, die nach der Ellipsoidmethode von Nesterov, Nemirovskii et al. al.

— Sergey Dovgal

Ich denke, das stimmt, ohne eine Bindung an gibt es keine generische Polynomzeitgarantie. In vielen Fällen, in denen der realisierbare Bereich unbegrenzt ist, können Sie immer noch a priori zeigen, dass, wenn es eine realisierbare Lösung gibt, höchstens eine der euklidischen Normen existiert , wobei von der Bitkomplexität der Eingabe abhängen kann. In diesem Fall können Sie den möglichen Bereich einfach mit der Kugel mit dem Radius schneiden, die am Ursprung zentriert ist.

R

$R$

R

$R$

R

$R$

R

$R$

— Sasho Nikolov

Im Jahr 1998 hielt Michel X. Goemans einen ICM-Vortrag, in dem er sich mit diesem Thema befasste: "Semidefinite Programme können in Polynomzeit mit einer bestimmten Genauigkeit entweder durch den Ellipsoid-Algorithmus oder effizienter durch gelöst (oder genauer angenähert) werden Innenpunktalgorithmen ... Die obigen Algorithmen liefern eine streng realisierbare Lösung (oder für einige Versionen des Ellipsoidalgorithmus leicht nicht realisierbar), und tatsächlich ist das Problem der Entscheidung, ob ein semidefinites Programm (genau) realisierbar ist, noch offen. A. Ein Sonderfall der Durchführbarkeit der semidefiniten Programmierung ist das Quadratwurzelsummenproblem. Die Komplexität dieses Problems ist noch offen. " http://garden.irmacs.sfu.ca/op/complexity_of_square_root_sum

1976 konnten Ron Graham, Michael Garey und David Johnson einige geometrische Optimierungsprobleme nicht aufzeigen, z. B. ob das Problem des euklidischen reisenden Verkäufers NP-vollständig ist (sie können nur zeigen, dass das Problem NP-schwer ist). Der Grund dafür ist, dass sie dies nicht konnten Zeigen Sie, ob das Quadratwurzelsummenproblem polynomial lösbar ist oder nicht. https://rjlipton.wordpress.com/2009/03/04/ron-graham-gives-a-talk/

Das Quadratwurzel-Summen-Problem ist ein lange offenes Problem, das Wissenschaftler aus den Bereichen Computergeometrie, Optimierung, Rechenkomplexität, Spieltheorie und einigen anderen Bereichen verwirrt, da sie alle irgendwann herausfinden, dass das Haupthindernis für ihre Probleme darin besteht, es zu lösen das Quadratwurzel-Summen-Problem.

Der bemerkenswerteste Fortschritt in Richtung dieses Problems ist von Eric Allender und seinen Co-Autoren. 2003 zeigten sie, dass dieses Problem in der 4. Ebene der Zählhierarchie liegt. http://ftp.cs.rutgers.edu/pub/allender/slp.pdf

Basierend auf den obigen Fakten kann man das Problem der konvexen Optimierung in (wahrer) Polynomzeit mit der Ellipsoid-Methode und der Interior Point-Methode nicht lösen.

Die große O-Notation besteht darin, die Laufzeit des Algorithmus im schlimmsten Fall zu messen. In der Praxis kann der schlimmste Fall jedoch ein sehr seltenes Ereignis sein. Deshalb können Sie ihn nicht zur Messung der praktischen Leistung verwenden.

— Rupei Xu
quelle

Ich denke, dass meine Frage neu formuliert werden muss. SDP ist eindeutig ein konvexes Optimierungsproblem (Optimierung einer konvexen Funktion über eine konvexe Menge), aber meine Frage verweist speziell auf die Standardform der konvexen Optimierung, bei der die konvexe Menge durch die Menge der Ungleichungen "konvexe Funktion ist negativ" definiert wird. Glauben Sie, dass die Antwort auf diese bestimmte Form (konvexe Optimierung in Standardform ist in P) unbekannt ist?

— Sergey Dovgal

@ SergeyDovgal Soweit ich weiß, kann man nur behaupten, dass die lineare Programmierung in Polynomzeit lösbar ist. Bei anderen konvexen Optimierungsproblemen kann man nicht behaupten, dass sie wirklich lösbar sind, wenn sie von der Quadratwurzelsumme abhängen.

— Rupei Xu