Auswahl von Parametern für den genetischen Algorithmus

Wie kann man die richtige Anzahl von Parametern für einen genetischen Algorithmus auswählen, um ein bestimmtes System zu modellieren?

Angenommen, Sie möchten die Produktion von Autos optimieren und haben 1.000 Messungen der stündlichen Effizienz bei verschiedenen Aufgaben für jeweils 1.000 verschiedene Mitarbeiter. Sie haben also 1.000.000 Datenpunkte. Die meisten davon korrelieren wahrscheinlich schwach mit der Gesamteffizienz Ihrer Fabrik, aber nicht so schwach, dass Sie sagen können, dass sie mit statistischer Sicherheit irrelevant sind. Wie gehen Sie vor, um Eingaben für Ihre GA auszuwählen, damit Sie nicht über 1.000.000 Freiheitsgrade verfügen, was zu einer sehr langsamen oder gar keiner Konvergenz führt?

Welche Algorithmen könnten speziell verwendet werden, um Merkmale vorzuwählen oder selektiv zu eliminieren?

Ein Ansatz , den ich verwendet habe mich in diesem Szenario ist die Parameterauswahl selbst zu entwickeln, so dass ich vielleicht Eltern wie {a,b,c}, {b,d,e,q,x,y,z}und so weiter. Ich würde dann die Kinder mutieren, um Features hinzuzufügen oder zu löschen. Dies funktioniert gut für ein paar Dutzend Funktionen. Das Problem ist jedoch, dass es ineffizient ist, wenn es eine große Anzahl von Freiheitsgraden gibt. In diesem Fall handelt es sich um 10^nKombinationen (im obigen Beispiel 10^1,000,000), bei denen eine Vorfilterung von Funktionen wichtig ist, um eine nützliche Leistung zu erzielen.

Erstens - das Beispiel scheint nicht gut geeignet zu sein, da Sie wahrscheinlich einige Regressions- oder klassische ML-Methoden verwenden würden, um dies zu lösen. Zweitens beziehen Sie sich auf ein allgemeines Problem der Merkmalsauswahl (Kira, Rendell, 1992) oder der Attributauswahl (Hall, Holmes, 2003) oder der Variablenauswahl (Guyon, Elisseeff, 2003) oder der Variablenuntermengenauswahl (Stecking, Schebesch, 2005). oder Merkmalsextraktion (Hillion, Masson, Roux, 1988) oder Dimensionsreduktion (Roweis, Saul, 200) oder Zustandsabstraktion (Amarel, 1968). Dieses Problem ist nicht nur für genetische Algorithmen relevant, sondern für fast alle Techniken des maschinellen Lernens beim Umgang mit hochdimensionalen Daten.

Hier können drei Fälle unterschieden werden: Die letzte Instanz dieses Problems, die als Zustandsabstraktion bezeichnet wird, bezieht sich normalerweise auf die Prozessmodellierung (die zu Ihrem Beispiel passt, jedoch nicht zum GA-Kontext). Die ersten drei, dh Merkmalsauswahl , Attributauswahl oder Variablenauswahl, scheinen am relevantesten zu sein, wenn Sie Ihre Frage wörtlich nehmen. In diesem Zusammenhang ist der mRMR-Ansatz eine gängige Lösung (Peng, Long, Ding, 2005) . Nach meiner Erfahrung funktioniert es mit kontinuierlichen Daten nicht immer gut - gegenseitige Informationen können jedoch durch andere Koeffizienten ersetzt werden, beispielsweise durch Korrelation. Ein anderer möglicher Ansatz ist die Verwendung einer Kreuzvalidierung (Picard, Cook, 1984).dafür. Sie können mehrere Modelle mit jeweils unterschiedlichen Funktionen verwenden und mithilfe der Modellauswahl mit Kreuzvalidierungstechniken das beste Modell auswählen, um Informationen darüber zu erhalten, welche Funktionen für die jeweilige Aufgabe am besten geeignet sind.

Die Fälle der Merkmalsextraktion und Dimensionsreduzierung ermöglichen nicht nur die Auswahl von Anfangsmerkmalen, sondern auch deren Kombinationen. Eine bekannte beispielhafte Lösung für diesen Fall ist der PCA-Algorithmus (Pearson, 1901) , der hinsichtlich der erklärten Varianz den optimalen Satz von Merkmalen erzeugt, die lineare Kombinationen von Eingabemerkmalen sind.

Beachten Sie auch, dass es viele Modelle gibt, die die Aufgabe der Merkmalsextraktion selbst erledigen. Einige Beispiele sind: Wachsendes neuronales Gasnetz (Fritzke, 1995) , LASSO (Tibshirani, 2011) , RFE SVM (Zeng, Chen, Tao, 2009) , Entscheidungsbäume (Quinlan, 1986) .

Verweise:

• Kenji Kira und Larry A. Rendell. 1992. Ein praktischer Ansatz zur Merkmalsauswahl. In Proceedings des neunten internationalen Workshops über maschinelles Lernen (ML92) haben Derek Sleeman und Peter Edwards (Hrsg.). Morgan Kaufmann Publishers Inc., San Francisco, Kalifornien, USA, 249-256.

• Hall, MA; Holmes, G., "Benchmarking Attributauswahltechniken für das Data Mining diskreter Klassen", Knowledge and Data Engineering, IEEE Transactions on, Band 15, Nr. 6, S. 1437.1447, Nov.-Dez. 2003

• Isabelle Guyon und André Elisseeff. 2003. Eine Einführung in die Variablen- und Merkmalsauswahl. J. Mach. Lernen. Res. 3 (März 2003), 1157–1182.

• Ralf Stecking, Klaus B. Schebesch. 2005. Variable Subset Selection für die Kreditbewertung mit Support Vector Machines, Operations Research Proceedings 2005, Springer Berlin Heidelberg, (2005), S. 251-256

• Hillion, A.; Masson, P.; Roux, C., "Ein nichtparametrischer Ansatz zur linearen Merkmalsextraktion; Anwendung auf die Klassifizierung binärer synthetischer Texturen", Pattern Recognition, 1988., 9. Internationale Konferenz über Bd. Nr., S. 1036.1039, Bd. 2, S. 14 -17 November 1988

• Nichtlineare Dimensionsreduktion durch lokal lineare Einbettung. Sam Roweis & Lawrence Saul. Science, V.290, Nr. 5500, 22. Dezember 2000. S. 2323-2326.

• Amarel, S. (1968). Zur Darstellung von Argumentationsproblemen über Handlungen, Machine Intelligence, (3), 131-171

• Peng, H.; Fulmi Long; Ding, C., "Merkmalsauswahl basierend auf gegenseitigen Informationskriterien von maximaler Abhängigkeit, maximaler Relevanz und minimaler Redundanz", Pattern Analysis and Machine Intelligence, IEEE Transactions on, Band 27, Nr. 8, S. 1226, 1238, August 2005

• Richard R. Picard und R. Dennis Cook, Journal der American Statistical Association Vol. 79, Nr. 387 (September 1984), S. 575-583

• Auf Linien und Ebenen, die am ehesten zu Punktesystemen im Raum passen Philosophical Magazine, Vol. 3, No. 6 (1901), S. 559-572 von K. Pearson

• Ein wachsendes neuronales Gasnetz lernt Topologien, Bernd Fritzke, Konferenz: Neuronale Informationsverarbeitungssysteme - NIPS, S. 625-632, 1994

• Regressionsschrumpfung und Selektion über das Lasso: eine Retrospektive, Robert Tibshirani, Journal der Royal Statistical Society, Reihe B, 2011, vol. 73, Ausgabe 3, Seiten 273–282

• Xiangyan Zeng; Yen-wei Chen; Caixia Tao; Van Alphen, D., "Merkmalsauswahl unter Verwendung der rekursiven Merkmalseliminierung für die handschriftliche Ziffernerkennung", Intelligentes Verstecken von Informationen und Multimedia-Signalverarbeitung, 2009. IIH-MSP '09. Fifth International Conference on, Bd. Nr., S. 1205, 1208, 12.-14. September 2009

• JR Quinlan. 1986. Induktion von Entscheidungsbäumen. Mach. Lernen. 1, 1 (März 1986), 81-106.

Ich habe dies noch nie zuvor getan und habe offensichtlich keinen Zugriff auf diese Daten, aber ein potenziell guter Weg, dies zu tun, wäre das Clustering . Für jeden Mitarbeiter haben wir einen n-dimensionalen Vektor, wobei jede Dimension einer anderen Aufgabe entspricht. Dann können wir Clustering verwenden, um "ähnliche" Mitarbeiter zu gruppieren. Dies hängt jedoch ausschließlich von Ihren Daten ab, dh es ist durchaus möglich, dass bei nur 1000 Mitarbeitern durch Clustering Gruppen von Mitarbeitern entstehen, die nicht wirklich miteinander verwandt sind kann auf Kosten des Informationsverlustes gehen.