Führen korrelierte Eingabedaten zu einer Überanpassung mit neuronalen Netzen?


13

Meiner Meinung nach müssen korrelierte Eingabedaten in neuronalen Netzen zu einer Überanpassung führen, da das Netz die Korrelation lernt, z. B. Rauschen in den Daten.

Ist das richtig?

Antworten:


11

Nicht wirklich.

Die Frage als solche ist ein bisschen allgemein und mischt zwei Dinge, die nicht wirklich zusammenhängen. Überanpassung ist normalerweise als das Gegenteil zu einer verallgemeinerten Beschreibung gemeint; in dem Sinne, dass ein überladenes (oder übertrainiertes) Netzwerk weniger Verallgemeinerungskraft hat. Diese Qualität wird in erster Linie von der Netzwerkarchitektur, dem Training und dem Validierungsverfahren bestimmt. Die Daten und ihre Eigenschaften werden nur als "etwas, auf dem der Trainingsvorgang stattfindet" eingegeben. Dies ist mehr oder weniger "Lehrbuchwissen"; Sie könnten "Eine Einführung in das statistische Lernen" von James, Witten, Hastie und Tibshirani ausprobieren. Oder "Pattern Recognition" von Bishop (mein Lieblingsbuch überhaupt zum allgemeinen Thema). Oder "Mustererkennung und maschinelles Lernen", ebenfalls von Bischof.

Für die Korrelation selbst: Betrachten Sie den Eingaberaum mit einer bestimmten Dimension. Egal welche Transformation Sie verwenden, die Dimensionalität bleibt gleich - die lineare Algebra sagt es aus. In einem Fall ist die angegebene Basis vollständig unkorreliert - dies erhalten Sie, wenn Sie die Variablen dekorrelieren oder einfach PAT (Principle Axis Transformation) anwenden. Nehmen Sie hierfür ein beliebiges lineares Algebra-Buch.

Da ein neuronales Netzwerk mit einer geeigneten Architektur jede (!) Funktion modellieren kann, können Sie davon ausgehen, dass es auch zuerst die PAT modellieren und dann alles tun kann, was es auch tun sollte - z. B. Klassifizierung, Regression usw.

Sie können die Korrelation auch als Merkmal betrachten, das Teil der Beschreibung des neuronalen Netzwerks sein sollte, da es eine Eigenschaft der Daten ist. Die Art der Korrelation ist nicht wirklich wichtig, es sei denn, sie sollte nicht Teil der Daten sein. Dies wäre eigentlich ein anderes Thema - Sie sollten so etwas wie Rauschen in der Eingabe modellieren oder quantifizieren und berücksichtigen.

Also, zusammenfassend nein. Korrelierte Daten bedeuten, dass Sie härter arbeiten sollten, um den Umgang mit Daten technisch einfacher und effektiver zu gestalten. Eine Überanpassung kann auftreten, wird jedoch nicht durchgeführt, da korrelierte Daten vorliegen.


Sorry, aber ich habe immer noch nicht verstanden warum. Auch mein Zweifel ist ein bisschen generisch. Ich suchte nach einer Antwort auf "Können korrelierte Eingabedaten für neuronale Netze schädlich sein?". Hier behaupten Sie, "Sie können sicher davon ausgehen, dass es auch zuerst PAT modellieren könnte". Aber wie geht es dir mit dieser Annahme? Und dann ist meine nachfolgende Frage, was passiert, wenn die neuronale Architektur PAT nicht falsch modelliert?
bytestorm

@bytestorm: deine erste frage ist anders als das original. Korrelierte Eingaben können die Leistung Ihres ANN (sowie für andere Methoden) einschränken. Aber es ist keine inhärente Eigenschaft eines ANN. Bei der zweiten Frage handelt es sich weniger um eine Annahme, sondern lediglich um eine beispielhafte Erklärung, warum ANNs PAT modellieren könnten. In der Praxis würde ich das weder so machen noch empfehlen.
Cherub

6

cherub hat recht mit seiner aussage über die überanpassung. Ich denke jedoch, dass die Diskussion von stark korrelierten Merkmalen und ANN das Problem zu stark vereinfacht.

Ja, theoretisch kann eine ANN jede Funktion approximieren. In der Praxis ist es jedoch keine gute Idee, zahlreiche stark korrelierte Merkmale aufzunehmen. Dies führt zu vielen Redundanzen innerhalb des Modells. Die Einbeziehung solcher Entlassungen wird unnötige Komplexitäten mit sich bringen und könnte auf diese Weise die Anzahl der lokalen Minima erhöhen. Da die Verlustfunktion eines ANN von Natur aus nicht glatt ist, ist es keine gute Idee, eine unnötige Rauheit einzuführen.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.