Bedeutung von Suchmethoden und Optimierungsmethoden

Ich habe mich gefragt, welche Unterschiede und Beziehungen zwischen "Suchmethoden" und "Optimierungsmethoden" bestehen.

Besonders bei der Lösung eines Optimierungsproblems? Ich betone den Kontext der Lösung von Optimierungsproblemen, weil ich denke, dass Suchmethoden nicht nur zur Lösung von Optimierungsproblemen, sondern auch zur Nichtoptimierung von Problemen dienen.

Meine Verwirrung ergibt sich aus folgenden Tatsachen:

Es gibt einige Optimierungsmethoden mit dem Namen "xxx search", wie z. B. lokale Suche , stochastische Suche usw. Was bedeutet "Suche" eigentlich? Ich frage mich, ob es Optimierungsmethoden gibt, die nicht "suchen"?
Auch in diesem Buch Einführung in die stochastische Suche und Optimierung durch Spall verstehe ich den Unterschied zwischen "Suche" und "Optimierung" sowohl im Titel als auch im Inhalt nicht ganz. Warum muss zwischen "Suche" und "Optimierung" unterschieden werden, wenn sie dasselbe bedeuten? Oder bedeutet "Optimierung" stochastische Optimierungsaufgaben / -probleme anstelle von Optimierungsmethoden, im Gegensatz zu "Suche" die Methoden zur Lösung der Optimierungsaufgaben / -probleme?
Auch kein kostenloses Mittagessen bei Suche und Optimierung unterscheidet Suche und Optimierung wieder.

Danke und Grüße!

optimization

— Tim
quelle

Antworten:

search = Versuch, einen realisierbaren Punkt zu finden, der alle Einschränkungen erfüllt (und zur Optimierung einen besseren Punkt als bisher gefunden), wobei im Allgemeinen nur Funktionswerte verwendet werden.

Lokale Suche: Verbesserung eines realisierbaren Punkts (oder einer Entfernung zum Machbarkeitsmaß) durch Suche zwischen benachbarten Punkten.

stochastische Suche: Suche anhand eines nicht deterministischen Kriteriums zur Auswahl von Versuchspunkten.

Dies ist unabhängig davon, ob ein Optimierungskriterium angegeben ist. Insbesondere bezieht sich die Suche in "Kein kostenloses Mittagessen bei Suche und Optimierung" auf die Suche nach Machbarkeit, während sich die Optimierung auf die Suche nach Optimalität bezieht.

Im Allgemeinen sind Suche und Optimierung für Optimierungsprobleme gleichwertig. Sie haben jedoch Konnotationen, die einen Unterschied in der Verwendung des Begriffs ausmachen.

Optimierungsmethode = Eine Methode zur Lösung eines Optimierungsproblems, häufig (aber nicht unbedingt) unter Verwendung von Gradienten- (oder Subgradienten- oder sogar Hessischen) Informationen.

Die Verwendung von Gradienten erhöht die Effizienz von Optimierungsmethoden drastisch. Man verwendet in diesem Zusammenhang (dh mit bekannten Verläufen) den Begriff Suche nur in der Kombination "Liniensuche", was bedeutet, nach einem besseren Punkt entlang einer gewählten Richtung zu suchen.

— Arnold Neumaier
quelle

\cup

$\cup$

(3) Sind Suchmethoden im engeren Sinne alle metaheuristisch?

— Tim

@Tim: Eine Liniensuche kann bei der Suche Farbverläufe verwenden oder nicht (z. B. benötigt eine Wolfe-Liniensuche diese). Sie sollten diesen Wörtern keine zu genaue Bedeutung beimessen; Sie deuten auf etwas hin, nicht auf mathematische Konzepte mit einer genauen Bedeutung. - Newtons Methode verwendet Gradienten und Hessische. - Eine Methode ist stochastisch, sobald die Suche einen Zufallszahlengenerator umfasst. - Die lokale Suche kann im allgemeinen Sinne einer Methode verwendet werden, die keine Konvergenz zu einem globalen Optimum garantiert, oder eine direkte Suche bedeuten, bei der nur lokale Nachbarschaften des aktuell besten Punkts untersucht werden.

— Arnold Neumaier

Eine Metaheuristik muss Prinzipien enthalten, die spezifischer sind als nur die lokale Suche, um ihren Namen zu verdienen. Ich habe nie gehört, dass dies allgemein gilt. Aber die Terminologie ist nicht sehr genau

— Arnold Neumaier

$x^\ast$ $g(x)$ $g(x^\ast)=0$ $x^\ast$ $f(x) \rightarrow \textrm{min!}$ $f$ $g(x)=\nabla f(x)$

— Wolfgang Bangerth
quelle

g (x) = 0, f (x) \leq f_{b e s t}

$g(x)=0, f(x)\le f_{best}$

g (x)

$g(x)$