Frage zum Bias-Varianz-Kompromiss und zu Optimierungsmitteln

Ich habe mich also gefragt, wie man zum Beispiel das Modell, das sie zu erstellen versuchen, am besten optimieren kann, wenn man mit Problemen konfrontiert wird, die durch hohe Voreingenommenheit oder hohe Varianz verursacht werden. Jetzt können Sie natürlich mit dem Regularisierungsparameter spielen, um ein zufriedenstellendes Ende zu erreichen, aber ich habe mich gefragt, ob dies möglich ist, ohne sich auf die Regularisierung zu verlassen.

Wenn b der Bias-Schätzer eines Modells und v seiner Varianz ist, wäre es dann nicht sinnvoll zu versuchen, b * v zu minimieren?

Es gibt viele Möglichkeiten, wie Voreingenommenheit und Varianz minimiert werden können, und trotz der weit verbreiteten Aussage ist dies nicht immer ein Kompromiss.

Die beiden Hauptgründe für die hohe Verzerrung sind unzureichende Modellkapazität und Unteranpassung, da die Trainingsphase nicht abgeschlossen war. Wenn Sie beispielsweise ein sehr komplexes Problem zu lösen haben (z. B. Bilderkennung) und ein Modell mit geringer Kapazität (z. B. lineare Regression) verwenden, weist dieses Modell eine hohe Verzerrung auf, da das Modell die Komplexität von nicht erfassen kann das Problem.

Der Hauptgrund für die hohe Varianz ist die Überanpassung des Trainingssatzes.

Davon abgesehen gibt es Möglichkeiten , sowohl die Verzerrung als auch die Varianz eines ML-Modells zu reduzieren . Der einfachste Weg, dies zu erreichen, besteht beispielsweise darin, mehr Daten abzurufen (in einigen Fällen helfen sogar synthetische Daten).

Was wir in der Praxis tun, ist:

• Zunächst erhöhen wir die Kapazität des Modells, um die Varianz des Trainingssatzes so weit wie möglich zu verringern . Mit anderen Worten, wir möchten das Modell überanpassen (sogar einen Verlust von 0 im Trainingssatz erreichen). Dies geschieht , weil wir sicher , dass das Modell die hat machen wollen Kapazität ausreichend Verständnis der Daten.

• Dann versuchen wir , die Verzerrung zu reduzieren . Dies geschieht durch Regularisierung ( vorzeitiges Anhalten , Normstrafen , Schulabbrecher usw.)