Daten müssen in der Regression zentriert und standardisiert werden

Berücksichtigen Sie die lineare Regression mit einer gewissen Regularisierung: ZB Finden Sie , das minimiert| | A x - b | | 2 + λ | | x | | $x$$||Ax - b||^2+\lambda||x||_1$

Normalerweise sind die Spalten von A so standardisiert, dass sie den Mittelwert Null und die Einheitennorm haben, während so zentriert ist, dass es den Mittelwert Null hat. Ich möchte sicherstellen, dass ich den Grund für das Standardisieren und Zentrieren richtig verstanden habe.$b$

Indem wir die Mittelwerte der Spalten und Null setzen, brauchen wir keinen Intercept-Term mehr. Andernfalls wäre das Ziel . Indem wir die Normen der Spalten von A gleich 1 machen, beseitigen wir die Möglichkeit eines Falls, in dem nur eine Spalte von A eine sehr hohe Norm hat, einen niedrigen Koeffizienten in erhält , was dazu führen könnte, dass wir fälschlicherweise auf diese Spalte von schließen A "erklärt" gut.b | | A x - x 0 1 - b | | 2 + λ | | x | | 1 x $A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$

Diese Argumentation ist nicht gerade streng, aber intuitiv. Ist das die richtige Art zu denken?

Sie haben Recht, wenn Sie die Mittelwerte der Spalten von und .$A$$b$

Berücksichtigen Sie jedoch beim Anpassen der Normen der Spalten von , was passieren würde, wenn Sie mit einem normierten und alle Elemente von ungefähr gleich groß sind. Dann multiplizieren wir eine Spalte mit . Das entsprechende Element von würde in einer unregelmäßigen Regression um den Faktor erhöht . Sehen Sie, was mit dem Regularisierungszeitraum passieren würde? Die Regularisierung würde für alle praktischen Zwecke nur für diesen einen Koeffizienten gelten. A x 10 - 6 x 10 $A$$A$$x$$10^{-6}$$x$$10^6$

Indem wir die Spalten von normieren, schreiben wir intuitiv und setzen sie alle auf die gleiche Skala. Folglich stehen die Unterschiede in den Größen der Elemente von in direktem Zusammenhang mit der "Wackeligkeit" der Erklärungsfunktion ( ), die, grob gesagt, durch die Regularisierung gesteuert werden soll. Ohne sie würde ein Koeffizientenwert von z. B. 0,1 gegenüber einem anderen von 10,0 Ihnen sagen, dass in Abwesenheit von Wissen über nichts darüber, welcher Koeffizient am meisten zur "Wackeligkeit" von beitrug . (Für eine lineare Funktion, wie , ist "Wackeln" mit einer Abweichung von 0 verbunden.)$A$A x A A x A $x$$Ax$$A$$Ax$$Ax$

Um zu Ihrer Erklärung zurückzukehren, wenn eine Spalte von eine sehr hohe Norm hat und aus irgendeinem Grund einen niedrigen Koeffizienten in erhält , würden wir nicht schließen, dass die Spalte von nicht gut "erklärt" . "erklärt" überhaupt nicht. x A x A $A$$x$$A$$x$$A$$x$