Was sind die Einschränkungen des Bergsteigeralgorithmus und wie können sie überwunden werden?


Antworten:


6

Wie @nbro bereits gesagt hat, ist Hill Climbing eine Familie lokaler Suchalgorithmen . Als Sie in der Frage Hill Climbing sagten, habe ich angenommen, dass Sie über das Standard-Hill Climbing sprechen. Die Standardversion des Bergsteigens weist einige Einschränkungen auf und bleibt häufig im folgenden Szenario hängen:

  • Lokale Maxima: Der Hill-Climbing-Algorithmus erreicht in der Nähe einen lokalen Maximalwert, wird zum Gipfel gezogen und bleibt dort stecken, ohne einen anderen Ort zu haben .
  • Grate: Dies sind Sequenzen lokaler Maxima , die es dem Algorithmus erschweren, zu navigieren.
  • Hochebenen: Dies ist eine flache State-Space-Region . Da es nicht bergauf geht, geht der Algorithmus häufig auf dem Plateau verloren.

Um diese Probleme zu lösen, wurden viele Varianten von Bergsteigeralgorithmen entwickelt. Diese werden am häufigsten verwendet:

  • Stochastic Hill Climbing wählt zufällig aus den Steigungen aus. Die Auswahlwahrscheinlichkeit variiert mit der Steilheit der Steigung.
  • First-Choice Climbing implementiert das oben genannte, indem zufällig Nachfolger generiert werden, bis ein besserer gefunden wird.
  • Zufällige Neustart-Bergsteigersuche von zufällig generierten Anfangsbewegungen bis zum Erreichen des Zielzustands.

Der Erfolg von Bergsteigeralgorithmen hängt von der Architektur der Zustandsraumlandschaft ab. Immer wenn es nur wenige Maxima und Plateaus gibt, funktionieren die Varianten der Suchalgorithmen für Bergsteiger sehr gut. In der realen Welt gibt es jedoch Probleme mit einer Landschaft, die eher wie eine weit verstreute Familie kahlköpfiger Stachelschweine auf einem flachen Boden aussieht, wobei Miniaturstachelschweine an der Spitze jeder Stachelschweinnadel leben (wie im 4. Kapitel des Buches Künstliche Intelligenz beschrieben: A. Moderner Ansatz). NP-harte Probleme haben normalerweise eine exponentielle Anzahl lokaler Maxima, an denen sie hängen bleiben müssen.
Gegebene Algorithmen wurden entwickelt, um diese Art von Problemen zu überwinden:

  • Stimuliertes Tempern
  • Lokale Strahlensuche
  • Genetische Algorythmen

Nachschlagewerk - Künstliche Intelligenz: Ein moderner Ansatz


Es gibt mehr Alternativen, um die Probleme des Bergsteigens zu überwinden. nämlich Permutationsgruppen, Musterdatenbanken und grammatikalische Suche. Sie nutzen domänenspezifisches Wissen für eine schnellere Suche im Zustandsraum.
Manuel Rodriguez

Ja @ManuelRodriguez. Algorithmen, die von domänenspezifischem Wissen abhängen, liefern hervorragende Ergebnisse. Aber ich habe versucht, die Antwort auf allgemeine Probleme beizubehalten, indem ich einige der Möglichkeiten erwähnte, mit denen die Einschränkungen der Hill Climb Search überwunden werden können.
Ugnes

5

Bergsteigen ist kein Algorithmus, sondern eine Familie von "lokalen Such" -Algorithmen. Spezifische Algorithmen, die in die Kategorie der "Bergsteiger" -Algorithmen fallen, sind 2-opt, 3-opt, 2,5-opt, 4-opt oder allgemein jeder N-opt. Weitere Informationen zu einigen dieser lokalen Suchalgorithmen (angewendet auf den TSP) finden Sie in Kapitel 3 des Dokuments " Das Problem des Handlungsreisenden: Eine Fallstudie zur lokalen Optimierung " (von David S. Johnson und Lyle A. McGeoch).

Was einen Algorithmus in dieser Kategorie von dem anderen unterscheidet, ist die "Nachbarschaftsfunktion", die sie verwenden (in einfachen Worten, die Art und Weise, wie sie benachbarte Lösungen zu einer bestimmten Lösung finden). Beachten Sie, dass dies in der Praxis nicht immer der Fall ist: Oft haben diese Algorithmen mehrere unterschiedliche Implementierungen.

Die offensichtlichste Einschränkung von Bergsteigeralgorithmen liegt in ihrer Natur, dh sie sind lokale Suchalgorithmen. Daher finden sie normalerweise nur lokale Maxima (oder Minima). Wenn also einer dieser Algorithmen bereits zu einem lokalen Minimum (oder Maximum) konvergiert hat und es in der Lösung oder im Suchraum nahe dieser gefundenen Lösung eine bessere Lösung gibt, kann keiner dieser Algorithmen dies finden bessere Lösung. Sie werden im Grunde gefangen sein.

Lokale Suchalgorithmen werden normalerweise nicht alleine verwendet. Sie werden als Unterroutinen anderer meta-heuristischer Algorithmen verwendet, wie z. B. simuliertes Tempern, iterierte lokale Suche oder in einem der Ameisenkolonie-Algorithmen. Um ihre Einschränkungen zu überwinden, verwenden wir sie normalerweise nicht alleine, sondern in Verbindung mit anderen Algorithmen, die probabilistisch sind und globale Minima oder Maxima finden können (z. B. einen der Ameisenkolonie-Algorithmen).


Schöne Antwort (+1)! Können Sie eine Ressource (YouTube, Blogpost, Arxive Paper, Buch) empfehlen, um mehr über Ant-Colony-Algorithmen zu erfahren? Ich habe noch nie davon gehört und möchte eine ungefähre Vorstellung davon bekommen.
Martin Thoma

1
@MartinThoma Ich fürchte, ich kenne wirklich kein sehr schönes Tutorial zu ACS. Vielleicht können Sie mit dem folgenden kurzen Tutorial und der entsprechenden Implementierung beginnen: cleveralgorithms.com/nature-inspired/swarm/… . Wenn Sie auch an einer ernsthafteren Implementierung interessiert sind, die auf den TSP angewendet wird, schauen Sie sich diese an: aco-metaheuristic.org/aco-code , implementiert von Stützle (und anderen), einem der Mitwirkenden an der Entwicklung dieser Techniken.
nbro

Der Fragesteller weiß, was die formale Definition des Bergsteigens ist, weil er den Wikipedia-Artikel gelesen hat. Die Frage geht eher in die Richtung, wie man es für künstliche Intelligenz verwendet. Es ist bekannt, dass Bergsteigen nur im lokalen Raum suchen kann, was es schwierig macht, Probleme mit der KI zu lösen. Normalerweise bleibt die Suche in einem lokalen Optimum stecken, was bedeutet, dass die kürzeste Route im Problem des Handlungsreisenden nicht gefunden werden kann.
Manuel Rodriguez

1
@MartinThoma Wie auch immer, Sie können sich auch die Forschungsarbeiten ansehen. Ich kann Ihnen nur einige wichtige Forscher nennen: Dorigo (der erste, der diese Techniken eingeführt hat, AFAIK), Gambardella und Stützle. Schau dir ihre Papiere an. Ich bin mir nicht sicher, welchen ich vorschlagen soll. Außerdem gibt es ein Buch über Schwarmintelligenz (von Bonabeau), wenn Sie wirklich ins Detail gehen möchten.
nbro
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.