Wie und warum würden sich MLPs für die Klassifizierung von MLPs für die Regression unterscheiden? Unterschiedliche Backpropagation- und Übertragungsfunktionen?

Ich verwende zwei 3-Schicht-Feedforward-Mehrschicht-Perzeptrone (MLPs). Mit den gleichen Eingabedaten (14 Eingangsneuronen) mache ich eine Klassifizierung (wahr / falsch) und eine Regression (wenn wahr, "wie viel") ¹. Bis jetzt habe ich faul Matlabs Patternnet bzw. Fitnet verwendet. Faul, weil ich mir nicht die Zeit genommen habe, wirklich zu verstehen, was los ist - und ich sollte. Darüber hinaus muss ich den Übergang zu einer OSS-Bibliothek (wahrscheinlich FANN) vornehmen, die wahrscheinlich mehr manuelle Einrichtung erfordert als die Matlab NN Toolbox. Deshalb versuche ich genauer zu verstehen, was los ist.

Die von patternnetund fitnetnahezu identischen Netzwerke sind: 14 Eingangsneuronen, 11 versteckte Neuronen, 1 Zielneuron (2 für die fitnet, aber nur 1 Information). Aber sie sind nicht ganz identisch. Die Unterschiede sind standardmäßig:

• Matlab verwendet eine skalierte konjugierte Gradienten-Backpropagation für das Klassifizierungsnetzwerk ( patternnet) und eine Levenberg-Marquardt-Backpropagation für das Regressionsnetzwerk ( fitnet).
• Das Klassifizierungsnetzwerk verwendet eine hyperbolische Tangenten-Sigmoid-Übertragungsfunktion zwischen der Eingangs- und der verborgenen Schicht sowie zwischen der verborgenen und der Ausgangsschicht. Das Regressionsnetzwerk ( fitnet) verwendet die hyperbolische Tangenten-Sigmoid-Übertragungsfunktion zwischen der Eingangs- und der verborgenen Schicht und eine rein lineare Übertragungsfunktion zwischen der verborgenen und der Ausgangsschicht.

Sollten diese Unterschiede sein?

Welche Art von Backpropagation-Funktionen sind für die Klassifizierung optimal und welche für die Regression und warum?

Welche Übertragungsfunktionen sind für die Klassifizierung optimal und welche für die Regression und warum?

¹ ^{Die Klassifizierung erfolgt für "bewölkt" oder "wolkenfrei" (2 komplementäre Ziele), die Regression dient zur Quantifizierung von "wie viel Wolke" (1 Ziel).}

Der Hauptunterschied liegt im Trainingskriterium. Ein Trainingskriterium der kleinsten Quadrate wird häufig für die Regression verwendet, da dies eine (bestrafte) maximale Wahrscheinlichkeitsschätzung der Modellparameter ergibt, wobei angenommen wird, dass Gaußsches Rauschen die Antwortvariable (Zielvariable) verfälscht. Bei Klassifizierungsproblemen wird häufig ein Cross-Entropy-Trainingskriterium verwendet, um eine Maximum-Likelihood-Schätzung unter der Annahme eines Bernoilli- oder Multinomialverlusts zu erhalten. In beiden Fällen können die Modellausgaben als Schätzung der Wahrscheinlichkeit einer Klassenmitgliedschaft interpretiert werden. Es ist jedoch üblich, logistische oder Softmax-Aktivierungsfunktionen in der Ausgabeschicht zu verwenden, sodass die Ausgaben zwischen 0 und 1 liegen und sich zu 1 summieren müssen. Wenn Sie die tanh-Funktion verwenden, können Sie diese einfach auf Wahrscheinlichkeiten neu abbilden, indem Sie eins hinzufügen und durch zwei teilen (ansonsten ist es dasselbe).

Der Unterschied zwischen skalierten konjugierten Gradienten und Levenberg-Marquardt ist in Bezug auf die Generalisierungsleistung wahrscheinlich relativ gering.

Ich würde die NETLAB- Toolbox für MATLAB gegenüber MATLABs eigener Toolbox für neuronale Netze wärmstens empfehlen . Es ist wahrscheinlich eine gute Idee, die Bayes'sche Regularisierung zu untersuchen, um eine Überanpassung zu vermeiden (Chris Bishops Buch ist lesenswert und das meiste davon ist in der NETLAB-Toolbox enthalten).