Entscheidungsprobleme im Vergleich zu „echten“ Problemen, bei denen es sich nicht um Ja oder Nein handelt

Ich habe an vielen Stellen gelesen, dass einige Probleme schwierig zu approximieren sind (es ist NP-schwer , sie zu approximieren ). Aber Approximation ist kein Entscheidungsproblem: Die Antwort ist eine reelle Zahl und nicht Ja oder Nein. Auch für jeden gewünschten Approximationsfaktor gibt es viele richtige und viele falsche Antworten, und dies ändert sich mit dem gewünschten Approximationsfaktor!

Wie kann man also sagen, dass dieses Problem NP-schwer ist?

(Inspiriert vom zweiten Aufzählungspunkt in Wie schwer ist es, die Anzahl der einfachen Pfade zwischen zwei Knoten in einem gerichteten Graphen zu zählen? )

— Ran G.
quelle

Wie Sie sagten, muss keine Entscheidung getroffen werden. Daher sind neue Komplexitätsklassen und neue Arten von Reduktionen erforderlich, um eine geeignete Definition der NP-Härte für Optimierungsprobleme zu erhalten .

Eine Möglichkeit besteht darin, zwei neue Klassen NPO und PO zu haben , die Optimierungsprobleme enthalten und natürlich die Klassen NP und P für Entscheidungsprobleme imitieren . Neue Reduzierungen sind ebenfalls erforderlich. Dann können wir eine Version der NP-Härte für Optimierungsprobleme nachbilden, die für Entscheidungsprobleme erfolgreich war. Aber zuerst müssen wir uns einig sein, was ein Optimierungsproblem ist.

Definition: Sei ein Optimierungsproblem . ist die Menge von Eingaben oder Instanzen , die als Zeichenfolgen codiert werden können. ist eine Funktion, die jede Instanz auf eine Menge von Zeichenketten abbildet , die möglichen Lösungen von Instanz . Es ist eine Menge, weil es viele Lösungen für ein Optimierungsproblem gibt. Somit haben wir eine Zielfunktion , die uns für jedes Paar von Instanz und Lösung deren Kosten oder Wert angibt . $O=(X,L,f,opt)$ $X$ $L$ $x\in X$ $x$ $f$ $(x, y)$ $y\in L(x)$ $opt$ sagt uns, ob wir maximieren oder minimieren.

Dies erlaubt uns zu definieren, was eine optimale Lösung ist: Sei die optimale Lösung einer Instanz eines Optimierungsproblems mitDie optimale Lösung wird oft mit . $y_{opt}\in L(x)$ $x\in X$ $O=(X,L,f,opt)$

f (x, y_{o p t}) = o p t {f (x, y^{'}) ∣ y^{'} \in L (x)} .

$f(x,y_{opt})=opt\{f(x,y')\mid y'\in L(x)\}.$

y^{*}

$y^*$

Nun können wir die Klasse NPO definieren : Sei die Menge aller Optimierungsprobleme mit: $NPO$ $O=(X,L,f,opt)$

$X\in P$
Es gibt ein Polynom mit für alle Instanzen und alle möglichen Lösungen . Weiterhin gibt es einen deterministischen Algorithmus, der in Polynomzeit entscheidet, ob . $p$ $|y|\le p(|x|)$ $x\in X$ $y\in L(x)$ $y\in L(x)$
$f$ kann in Polynomzeit ausgewertet werden.

Die Intuition dahinter ist:

Wir können effizient überprüfen, ob tatsächlich eine gültige Instanz unseres Optimierungsproblems ist. $x$
Die Größe der möglichen Lösungen ist in der Größe der Eingaben polynomisch begrenzt. Wir können effizient überprüfen, ob eine mögliche Lösung der Instanz . $y\in L(x)$ $x$
Der Wert einer Lösung kann effizient bestimmt werden. $y\in L(x)$

Dies spiegelt wider, wie nun für PO definiert ist : sei die Menge aller Probleme von , die durch einen deterministischen Algorithmus in Polynomialzeit gelöst werden können. $NP$ $PO$ $NPO$

Nun können wir definieren, was wir einen Approximationsalgorithmus nennen wollen : Ein Approximationsalgorithmus eines Optimierungsproblems ist ein Algorithmus, der eine realisierbare Lösung berechnet für eine Instanz . $O=(X,L,f,opt)$ $y\in L(x)$ $x\in X$

Hinweis: Damit wir nicht nach einer optimalen Lösung fragen, geben wir nur an, was machbar ist .

Wir haben nun zwei Arten von Fehlern: Der absolute Fehler einer realisierbaren Lösung einer Instanz des Optimierungsproblems ist. $y\in L(x)$ $x\in X$ $O=(X,L,f,opt)$ $|f(x,y)-f(x,y^*)|$

Wir nennen den absoluten Fehler eines Approximationsalgorithmus für das Optimierungsproblem das durch begrenzt ist, wenn der Algorithmus für jede Instanz eine durchführbare Lösung mit einem absoluten Fehler berechnet, der durch . $A$ $O$ $k$ $A$ $x\in X$ $k$

Beispiel: Nach dem Theorem of Vizing ist der chromatische Index eines Graphen (die Anzahl der Farben in der Kantenfärbung mit der geringsten Anzahl der verwendeten Farben) entweder oder , wobei der maximale Knotengrad ist. Aus dem Beweis des Theorems kann ein Approximationsalgorithmus entwickelt werden, der eine Kantenfärbung mit Farben berechnet . Dementsprechend haben wir einen Approximationsalgorithmus für das -Problem, bei dem der absolute Fehler durch . $\Delta$ $\Delta+1$ $\Delta$ $\Delta+1$ $\mathsf{Minimum-EdgeColoring}$ $1$

Dieses Beispiel ist eine Ausnahme, kleine absolute Fehler sind selten, daher definieren wir den relativen Fehler des Approximationsalgorithmus auf Instanz des Optimierungsproblems mit für alle und zu sein , $\epsilon_A(x)$ $A$ $x$ $O=(X,L,f,opt)$ $f(x,y)>0$ $x\in X$ $y\in L(x)$

ϵ_{A} (x) := {\begin{cases} 0 & f (x, A (x)) = f (x, y^{*}) \\ \frac{| f (x, A (x)) - f (x, y^{*}) |}{max {f (x, A (x)), f (x, y^{*})}} & f (x, A (x)) \neq f (x, y^{*}) \end{cases}

$\epsilon_A(x):=\begin{cases}0&f(x,A(x))=f(x,y^*)\\\frac{|f(x,A(x))-f(x,y^*)|}{\max\{f(x,A(x)),f(x,y^*)\}}&f(x,A(x))\ne f(x,y^*)\end{cases}$

wobei die durch den Näherungsalgorithmus berechnete mögliche Lösung ist . $A(x)=y\in L(x)$ $A$

Wir können nun den Approximationsalgorithmus für das Optimierungsproblem als Approximationsalgorithmus für wenn der relative Fehler durch für jede Instanz , also $A$ $O=(X,L,f,opt)$ $\delta$ $O$ $\epsilon_A(x)$ $\delta\ge 0$ $x\in X$

ϵ_{A} (x) \leq δ \forall x \in X .

$\epsilon_A(x)\le \delta\qquad \forall x\in X.$

Die Wahl von im Nenner der Definition des relativen Fehlers wurde gewählt, um die Definition zum Maximieren und Minimieren symmetrisch zu machen. Der Wert des relativen Fehlers . Im Falle eines Maximierungsproblems ist der Wert der Lösung niemals kleiner als und niemals größer als für ein Minimierungsproblem. $\max\{f(x,A(x)),f(x,y^*)\}$ $\epsilon_A(x)\in[0,1]$ $(1-\epsilon_A(x))\cdot f(x,y^*)$ $1/(1-\epsilon_A(x))\cdot f(x,y^*)$

Nun können wir ein Optimierungsproblem -approximable nennen, wenn es einen -approximationsalgorithmus für , der in polynomieller Zeit abläuft. $\delta$ $\delta$ $A$ $O$

Wir wollen den Fehler nicht für jede Instanz , wir betrachten nur den schlimmsten Fall. Wir definieren also , den maximalen relativen Fehler des Approximationsalgorithmus für das Optimierungsproblem zu $x$ $\epsilon_A(n)$ $A$ $O$

ϵ_{A} (n) = sup {ϵ_{A} (x) ∣ | x | \leq n} .

$\epsilon_A(n)=\sup\{\epsilon_A(x)\mid |x|\le n\}.$

Wobeisollte die Größe der Instanz sein. $|x|$

Beispiel: Eine maximale Übereinstimmung in einem Diagramm kann in eine minimale Knotenabdeckung werden, indem alle einfallenden Knoten aus der Übereinstimmung zur Scheitelpunktabdeckung hinzugefügt werden. AlsoKanten sind abgedeckt. Da jede Scheitelpunktabdeckung, einschließlich der optimalen, einen der Knoten jeder abgedeckten Kante haben muss, andernfalls könnte sie verbessert werden, haben wir . Daraus folgt , dass Somit wird der Greedy - Algorithmus für eine maximale Anpassung ist ein -approximatio- Algorithmus für . Daher ist -approximable. $C$ $1/2\cdot |C|$ $1/2\cdot |C|\cdot f(x,y^*)$

\frac{| C | - f (x, y^{*})}{| C |} \leq \frac{1}{2}

$\frac{|C|-f(x,y^*)}{|C|}\le\frac{1}{2}$

1 / 2

$1/2$

M i n i m a l - V e r t e x C o v e r

$\mathsf{Minimal-VertexCover}$

M i n i m a l - V e r t e x C o v e r

$\mathsf{Minimal-VertexCover}$

1 / 2

$1/2$

Leider ist der relative Fehler nicht immer der beste Qualitätsbegriff für eine Annäherung, wie das folgende Beispiel zeigt:

Beispiel: Ein einfacher Greedy-Algorithmus kann . Eine Analyse zeigt , dass und damit wäre - annähernd. $\mathsf{Minimum-SetCover}$

\frac{| C |}{| C^{*} |} \leq H_{n} \leq 1 + \ln (n)

$\frac{|C|}{|C^*|}\le H_n\le 1+\ln(n)$

M i n i m u m - S e t C o v e r

$\mathsf{Minimum-SetCover}$

\frac{\ln (n)}{1 + \ln (n)}

$\frac{\ln(n)}{1+\ln(n)}$

Wenn der relative Fehler nahe bei die folgende Definition vorteilhaft. $1$

Lassen ist ein Optimierungsproblem mit für alle und und eine Approximation-Algorithmus für . Das Approximationsverhältnis der realisierbaren Lösung der Instanz ist $O=(X,L,f,opt)$ $f(x, y)>0$ $x\in X$ $y\in L(x)$ $A$ $O$ $r_A(x)$ $A(x)=y\in L(x)$ $x\in X$

r_{A} (x) = {\begin{cases} 1 & f (x, A (x)) = f (x, y^{*}) \\ max {\frac{f (x, A (x))}{f (x, y^{*})}, \frac{f (x, y^{*})}{f (x, A (x))}} & f (x, A (x)) \neq f (x, y^{*}) \end{cases}

$r_A(x)=\begin{cases}1&f(x,A(x))=f(x,y^*)\\\max\left\{ \frac{f(x,A(x))}{f(x, y^*)},\frac{f(x, y^*)}{f(x, A(x))}\right\}&f(x,A(x))\ne f(x,y^*)\end{cases}$

Wie zuvor bezeichnen wir einen Approximationsalgorithmus einen - Approximationsalgorithmus für das Optimierungsproblem wenn das Approximationsverhältnis für jede Eingabe durch begrenzt ist . Und doch wieder , wenn wir eine haben -Anpassung-Algorithmus zur Optimierung Problem dann genannt -approximable . Wir kümmern uns wieder nur um den ungünstigsten Fall und definieren das maximale Approximationsverhältnis als $A$ $r$ $O$ $r_A(x)$ $r\ge1$ $x\in X$

r_{A} (x) \leq r

$r_A(x)\le r$

r

$r$

A

$A$

O

$O$

O

$O$ $r$

r_{A} (n)

$r_A(n)$

r_{A} (n) = sup {r_{A} (x) ∣ | x | \leq n} .

$r_A(n)=\sup\{r_A(x)\mid |x|\le n\}.$ Dementsprechend ist das Approximationsverhältnis für suboptimale Lösungen größer als . Somit haben bessere Lösungen kleinere Verhältnisse. Für wir jetzt schreiben, dass es -approximierbar ist. Und im Fall von wissen wir aus dem vorherigen Beispiel, dass es -approximierbar ist. Zwischen dem relativen Fehler und dem Approximationsverhältnis gibt es einfache Beziehungen:

1

$1$

M i n i m u m - S e t C o v e r

$\mathsf{Minimum-SetCover}$

(1 + \ln (n))

$(1+\ln(n))$

M i n i m u m - V e r t e x C o v e r

$\mathsf{Minimum-VertexCover}$

2

$2$

r_{A} (x) = \frac{1}{1 - ϵ_{A} (x)} ϵ_{A} (x) = 1 - \frac{1}{r_{A} (x)} .

$r_A(x)=\frac{1}{1-\epsilon_A(x)}\qquad \epsilon_A(x)=1-\frac{1}{r_A(x)}.$

Für kleine Abweichungen vom Optimum und der relative Fehler vorteilhaft gegenüber dem Approximationsverhältnis, das seine Stärken für große Abweichungen und . $\epsilon<1/2$ $r<2$ $\epsilon\ge 1/2$ $r\ge 2$

Die beiden Versionen von -approximable überschneiden sich nicht, da eine Version immer und die andere . Der Fall ist unproblematisch, da dies nur durch Algorithmen erreicht wird, die eine exakte Lösung liefern und folglich nicht als Approximationsalgorithmen behandelt werden müssen. $\alpha$ $\alpha\le 1$ $\alpha\ge 1$ $\alpha=1$

Eine andere Klasse erscheint oft APX . Es ist definiert als die Menge aller Optimierungsprobleme von , die einen - mit , der in polynomialer Zeit abläuft. $O$ $NPO$ $r$ $r\ge1$

Wir sind fast fertig. Wir möchten die erfolgreichen Ideen von Reduktion und Vollständigkeit aus der Komplexitätstheorie übernehmen. Die Beobachtung ist, dass viele NP-harte Entscheidungsvarianten von Optimierungsproblemen zueinander reduzierbar sind, während ihre Optimierungsvarianten unterschiedliche Eigenschaften hinsichtlich ihrer Approximierbarkeit aufweisen. Dies ist auf die Polynomialzeit-Karp-Reduktion zurückzuführen, die bei NP-Vervollständigungsreduktionen verwendet wird und die Zielfunktion nicht bewahrt. Und selbst wenn die Zielfunktionen erhalten bleiben, kann die Polynomzeit-Karp-Reduktion die Qualität der Lösung verändern.

Was wir brauchen, ist eine stärkere Version der Reduktion, die nicht nur Instanzen von Optimierungsproblem auf Instanzen von , sondern auch gute Lösungen von zurück zu guten Lösungen von . $O_1$ $O_2$ $O_2$ $O_1$

Daher definieren wir die approximationserhaltende Reduktion für zwei Optimierungsprobleme und aus . Wir nennen -reduzierbar auf , geschrieben als , wenn es zwei Funktionen und und eine Konstante mit: $O_1=(X_1,L_1,f_1,opt_1)$ $O_2=(X_2,L_2,f_2,opt_2)$ $NPO$ $O_1$ $AP$ $O_2$ $O_1\le_{AP} O_2$ $g$ $h$ $c$

$g(x_1, r)\in X_2$ für alle und rational $x_1\in X_1$ $r>1$
$L_2(g(x, r_1))\ne\emptyset$ wenn für alle und rational $L_1(x_1)\ne\emptyset$ $x_1\in X_1$ $r>1$
$h(x_1, y_2, r)\in L_1(x_1)$ für alle und rational und für alle $x_1\in X_1$ $r>1$ $y_2\in L_2(g(x_1,r))$
Für festes beide Funktionen und durch zwei Algorithmen in Polynomzeit in der Länge ihrer Eingaben berechnet werden. $r$ $g$ $h$
Wir haben für alle und rational und für alle $f_{2} (g (x_{1}, r), y_{2}) \leq r \Rightarrow f_{1} (x_{1}, h (x_{1}, y_{2}, r)) \leq 1 + c \cdot (r - 1)$ $f_2(g(x_1,r),y_2)\le r \Rightarrow f_1(x_1,h(x_1,y_2,r))\le 1+c\cdot(r-1)$ $x_1\in X_1$ $r>1$ $y_2\in L_2(g(x_1,r))$

In dieser Definition hängen und von der Qualität der Lösung . Daher können sich die Funktionen für verschiedene Qualitäten unterscheiden. Diese Allgemeinheit wird nicht immer benötigt und wir arbeiten nur mit und . $g$ $h$ $r$ $g(x_1)$ $h(x_1, y_2)$

Nachdem wir nun den Begriff der Reduktion für Optimierungsprobleme kennen, können wir endlich viele Dinge übertragen, die wir aus der Komplexitätstheorie kennen. Wenn wir zum Beispiel wissen, dass und wir zeigen, dass , folgt dies auch . $O_2\in APX$ $O_1\le_{AP} O_2$ $O_1\in APX$

Schließlich können wir definieren, was wir mit -hard und -complete für Optimierungsprobleme meinen: $\mathcal{C}$ $\mathcal{C}$

Lassen ein Optimierungsproblem aus seinem und eine Klasse von Optimierungsproblemen von dann genannt -hard in Bezug auf , wenn für alle gilt. $O$ $NPO$ $\mathcal{C}$ $NPO$ $O$ $\mathcal{C}$ $\le_{AP}$ $O'\in\mathcal{C}$ $O'\le_{AP} O$

Somit haben wir wieder eine Vorstellung von einem der schwierigsten Probleme in der Klasse. Es ist nicht überraschend, dass ein -hartes Problem in Bezug auf als -vollständig bezeichnet wird, wenn es ein Element von . $\mathcal{C}$ $\mathcal{C}$ $\le_{AP}$ $\mathcal{C}$

Somit können wir jetzt über Vollständigkeit und Vollständigkeit usw. sprechen. Und natürlich werden wir jetzt gebeten, ein erstes vollständiges Problem aufzuzeigen, das die Rolle von übernimmt . Es kommt fast natürlich, dass dargestellt werden kann , um sein -komplette. Mit Hilfe des PCP-Theorem kann man sogar zeigen , dass ist -komplette. $NPO$ $APX$ $NPO$ $\mathsf{SAT}$ $\mathsf{Weighted-Satisfiability}$ $NPO$ $\mathsf{Maximum-3SAT}$ $APX$

— uli
quelle

Oh und bitte nehmen Sie meine Entschuldigung für diesen vergleichsweise langen Beitrag an, aber ich hatte keine Zeit, einen kürzeren zu schreiben.

— uli

Die Pointe ist natürlich, dass Sie mit dem PCP-Theorem MAX3SAT und SAT verknüpfen können, was zeigt, dass es NP-schwer ist, MAX 3SAT besser als eine Konstante anzunähern. Das ist in gewissem Sinne das Äquivalent des Cook-Levin-Theorems.

— Suresh

@Suresh Natürlich, aber dieses Ergebnis, das Sie erwähnen, bedarf meiner Erinnerung nach einer lückenerhaltenden Reduzierung. Und wie Sie bereits in Ihrem Beitrag darüber geschrieben haben, wollte ich sie hier nicht duplizieren.

— uli

Tolle Antwort, +1! Ich frage mich, ob Ihre Antwort auf einigen Referenzen basiert.

— Tim

@ Tim Natürlich gibt es Bücher, ich habe einige in den Kommentaren einer anderen Antwort

— uli

In der Regel wird die NP-Härte einer "Gap" -Version des Problems angezeigt. Angenommen, Sie möchten zeigen, dass es schwierig ist, SET COVER auf einen Faktor von 2 anzunähern.

Sie definieren die folgende "Versprechen" -Instanz von SET COVER, die wir als 2-GAP-SET-COVER bezeichnen:

Repariere eine Nummer . 2-GAP-SET-COVER besteht aus allen Instanzen von Set-Cover, bei denen die Größe des optimalen Set-Cover entweder: $\ell$

höchstens $\ell$
mindestens $2\ell$

Angenommen, wir zeigen, dass das Problem der Entscheidung, in welchen der beiden Fälle ein Problem fällt, NP-vollständig ist. Dann haben wir gezeigt, dass die Annäherung von SET COVER an einen Faktor von 2 NP-schwer ist, da wir einen solchen Algorithmus verwenden könnten, um diese beiden Fälle zu unterscheiden.

— Suresh
quelle

Die beiden vorhandenen Antworten sind sehr informativ, aber ich denke, keine von beiden beantwortet die Frage wirklich: "Wie kann ein Problem, das nicht einmal ein Entscheidungsproblem ist, NP-schwer sein, wenn NP eine Klasse von Entscheidungsproblemen ist ? "

Die Antwort ist, sich daran zu erinnern, was NP-schwer bedeutet. Ein Problem ist unter gewissen Reduktionen NP-schwer, wenn jedes Problem in NP auf reduziert werden kann . (Und ist NP-vollständig, wenn es NP-schwer und in NP ist.) Inoffiziell bedeutet NP-schwer "Wenn ich dieses Problem lösen könnte, könnte ich alles in NP lösen", auch wenn das Problem, von dem Sie sprechen, nicht "ist. t in NP. Für die NP-Härte ist keine NP-Mitgliedschaft erforderlich, es ist jedoch der richtige Begriff der Reduktion erforderlich. $L$ $L$ $L$

Einige Beispiele.

Jedes NEXPTIME-complete-Problem ist unter polynomiellen Vielfachreduktionen NP-hart. Jedes Problem in NP ist in NEXPTIME und kann per Definition auf reduziert werden. Nach dem Zeithierarchiesatz kann nicht in NP sein, daher ist nicht NP-vollständig. $L$ $L$ $L$ $L$
#SAT ist das Problem der Berechnung der Anzahl zufriedenstellender Zuordnungen zu CNF-Formeln. Es ist eindeutig nicht in NP, da NP, wie Sie beobachten, eine Klasse von Entscheidungsproblemen ist und #SAT keines davon ist. #SAT ist jedoch unter Polynomzeit-Turing-Reduktionen NP-hart, weil wir SAT darauf reduzieren können. Bei einer gegebenen SAT-Instanz fragen wir, wie viele zufriedenstellende Aufträge es gibt: Wenn es mindestens einen gibt, sagen wir "zufriedenstellend"; ansonsten "unbefriedigend".
Es sei APPROXSAT das Problem, eine Zahl zu berechnen, die innerhalb eines Zehnfachen der Anzahl der erfüllenden Zuordnungen zu einer CNF-Formel . Um nur nervig zu sein, nehmen wir an, Sie dürfen abrunden. Wenn drei befriedigende Zuweisungen hat, darf der Algorithmus "0,3" denken und auf Null abrunden. Dies ist NP-hart unter Polynom-Zeit-Turing-Reduktionen, weil wir SAT immer noch darauf reduzieren können. Fragen Sie bei gegebener CNF-Formel nach der Anzahl der erfüllenden Zuordnungen zu , wobei die neue Variablen sind. ist genau dann erfüllbar, wenn ist, aber $\varphi$ $\varphi$ $\varphi$ $\varphi'=\varphi \wedge (Z_1\vee \dots \vee Z_{10})$ $Z_i$ $\varphi'$ $\varphi$ $\varphi'$ wird garantiert, dass mehr als 1.000 zufriedenstellende Aufgaben hat, falls es welche gibt. Also, ist erfüllbar , wenn und nur dann, wenn der APPROXSAT Algorithmus sagt , dass hat mindestens 100 erfüllenden Belegungen. $\varphi$ $\varphi'$

— David Richerby
quelle