Beweisbare Aussagen über genetische Algorithmen


56

Genetische Algorithmen werden in der Welt der Theorie nicht sehr gut aufgenommen, aber sie sind eine einigermaßen gut verwendete metaheuristische Methode (mit metaheuristisch meine ich eine Technik, die generisch auf viele Probleme wie Tempern, Gradientenabstieg und dergleichen angewendet wird). Tatsächlich ist eine GA-ähnliche Technik für euklidische TSP in der Praxis ziemlich effektiv .

Einige Metaheuristiken sind theoretisch einigermaßen gut untersucht: Es wird an der lokalen Suche und dem Tempern gearbeitet. Wir haben ein ziemlich gutes Gespür dafür, wie alternierende Optimierung ( wie k-means ) funktioniert. Aber soweit ich weiß, ist nichts wirklich Nützliches über genetische Algorithmen bekannt.

Gibt es eine solide algorithmische / Komplexitätstheorie zum Verhalten genetischer Algorithmen in irgendeiner Weise, Form oder Gestalt? Während ich von Dingen wie der Schematheorie gehört habe, würde ich sie von der Diskussion ausschließen, basierend auf meinem gegenwärtigen Verständnis des Gebiets, weil sie nicht besonders algorithmisch ist (aber ich könnte mich hier irren).


5
Für einige Anregungen siehe auch S. 25–29 von Papadimitrious FCRC 2007 Folien .
Jukka Suomela

1
@ Suresh: Ich würde es vorziehen, es als Frage anstatt als Antwort zu sehen . Es würde mich freuen, wenn jemand anderes sich die Mühe machen würde, genauer zu erklären, worauf sich Papadimitriou in den Folien bezieht. :)
Jukka Suomela

1
Hier ist eine Pop-Sci-Wiedergabe dieser Arbeit: tinyurl.com/2f39jrb
Suresh Venkat

1
Ich habe kürzlich einen Kurs in GA belegt und mein Hype um GA hat nachgelassen, als ich das No Free Lunch Theorem lernte: en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization
Alexandru

1
Alexandru, warum ist das so? Es sollte ziemlich offensichtlich sein, dass fast jede Technik in einigen Fällen besser als andere und in anderen schlechter ist. Haben Sie wirklich geglaubt, GA wäre einheitlich überlegen?
Raphael

Antworten:


29

Y. Rabinovich, A. Wigderson. Techniken zur Begrenzung der Konvergenzrate genetischer Algorithmen. Random Structures Algorithms, vol. 14, nein. 2, 111-138, 1999. (Auch auf der Homepage von Avi Wigderson erhältlich )


Es sieht so aus, als ob der erste Link nicht mehr funktioniert.
Jeremy Kun

@JeremyKun: Ich habe es gerade ausprobiert und es hat prima funktioniert ... (Es würde mich traurig machen, wenn ein Doi-Link ausfällt und einen der Hauptziele des Doi-Systems besiegt ...)
Joshua Grochow,

Ich erhalte immer noch die Fehlermeldung "Seite nicht gefunden" aus der Wiley-Bibliothek. Könnte es sich um ein Formatierungs- / Browserproblem handeln?
Jeremy Kun

@ JeremyKun: Könnte sein. Wenn Sie Zugriff auf MathSciNet haben, versuchen Sie stattdessen diesen Link: ams.org/mathscinet-getitem?mr=1667317
Joshua Grochow

Das ist kein Problem, denn der Link zu seiner Homepage funktioniert. Ich habe nur versucht, diese Antwort zu verbessern :)
Jeremy Kun


10

Ingo Wegener beschäftigte sich nicht nur mit simuliertem Tempern, sondern auch mit evolutionären Algorithmen. Sehenswert ist auch die Dissertation seines Doktoranden Dirk Sudholt.



10

Während des letzten Jahrzehnts wurden erhebliche Fortschritte bei der Laufzeitanalyse von Evolutionsalgorithmen, der Optimierung von Ameisenkolonien und anderen Metaheuristiken erzielt. Eine Übersicht finden Sie bei Oliveto et al. (2007) .


Per Kristian Lehre, ich habe Sie gerade gesehen und Ihr Interessensgebiet gesehen, also möchte ich fragen: Glauben Sie, dass ähnliche Tools verwendet werden könnten, um die Laufzeit von Optimierungsalgorithmen für Ameisenkolonien und Fragen vom Typ "Natürlicher Algorithmus" von Chazelle zu analysieren ( Konvergenzrate der Vogelschwärme)? Im Moment scheinen Chazelles Techniken wie eine Insel für sich zu sein, und ich frage mich, ob es ein größeres Bild gibt.
Aaron Sterling

2
Ja, diese Techniken können angepasst werden, um die Laufzeit von ACOs zu analysieren. Ich habe kürzlich einen Artikel über ACOs für das MinCut-Problem mitautorisiert. Siehe auch die Umfrage von Witt (2009): springerlink.com/content/3727x3255r1816g4 Es sind mir keine aktuellen Zusammenhänge dieser Forschung mit Chazelles Arbeit bekannt, aber es lohnt sich auf jeden Fall, sie zu untersuchen.
Per Kristian Lehre

7

Lovasz und Vempala (FOCS 2003, Sonderausgabe von J. Comp. System Sci.) Verwenden eine Variante des simulierten Temperns, um einen besseren ( ) - Algorithmus zur Berechnung des Volumens eines konvexen Körpers zu erhalten. Offensichtlich können sie etwas über die von ihnen verwendete Variante beweisen, um die nachweisbare Obergrenze für ihren Gesamtalgorithmus zu erhalten.O(n4)


1
Hey, er ist zurück :)
Suresh Venkat

6

6

Es gibt auch eine Veröffentlichung von D. BHANDARI, CA MURTHY und SK PAL (online leider nicht verfügbar), die einen Konvergenzbeweis unter zwei Voraussetzungen liefert:

  • Auswahl der Eliten: Die beste Lösung der Generation muss in der Generationt + 1tt+1
  • Mit dem Mutationsoperator kann in endlichen Schritten von einer beliebigen Lösung zu einer anderen gewechselt werden

Der Konvergenznachweis verwendet ein Markov-Kettenmodell.

Hier die Referenz: Dinabandhu Bhandari, CA Murthy: Genetischer Algorithmus mit elitärem Modell und seiner Konvergenz. IJPRAI 10 (6): 731-747 (1996)


6

Mathematische Modelle genetischer Algorithmen mit endlichen, aber nicht einheitlichen Populationen sind unhandlich und konnten bisher nur für die trivialsten Fitnessfunktionen analysiert werden. Interessanterweise gibt es ein aufregendes und schönes Ergebnis über die Rechenleistung genetischer Algorithmen , wenn Sie bereit sind, ein Symmetrieargument anzunehmen , ein Argument, das sich also nicht auf die Grenzen eines formalen axiomatischen Systems beschränkt.

Insbesondere kann ein genetischer Algorithmus mit einheitlicher Überkreuzung eine große Anzahl grober Schemapartitionen implizit und parallel auswerten und Partitionen effizient identifizieren, deren konstituierende Schemata unterschiedliche durchschnittliche Fitnesswerte aufweisen. Diese Form der impliziten Parallelität ist tatsächlich mächtiger als die von John Holland und seinen Schülern beschriebene und kann im Gegensatz zu der von Holland beschriebenen impliziten Parallelität experimentell verifiziert werden. (Siehe diesen Blog-Beitrag.)

Der folgende Artikel erklärt, wie genetische Algorithmen mit einheitlichem Crossover-Parlay Parallelität in eine allgemeine, globale Optimierungsheuristik namens Hyperclimbing implizieren :

Erklären der Optimierung in genetischen Algorithmen mit einheitlicher Frequenzweiche . Erscheinen im Tagungsband der Foundations of Genetic Algorithms 2013.

(Haftungsausschluss: Ich bin der Autor des Papiers)


Dies ist clever / innovativ, um das zufällige SAT als Benchmark für die GA zu verwenden, und zeigt eine Idee, die anscheinend nur wenige Artikel untersucht haben. Angenommen, die GA kann mit jeder beliebigen Komplexitätsklasse arbeiten und ist möglicherweise eine Möglichkeit, Algorithmen in einer "höheren" Komplexitätsklasse basierend auf Ergebnissen von Algorithmen in einer "niedrigeren" Komplexitätsklasse zu erstellen. In gewissem Sinne ist dies jedoch nicht der Fall Es ist sinnvoll, die "Komplexität" von GAs zu analysieren, da sie die Klassifizierung von Komplexitätsklassen überschreiten können.
vzn 20.10.12

5

Raphael Cerf hat seine Doktorthese auf genetische Algorithmen in Montpellier unter der Leitung von Alain Berlinet, aus mathematischer Sicht. Es ist ziemlich alt, würde aber wahrscheinlich zu jeder Bibliographie über genetische Algorithmen gehören.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.