Was ist die zeitliche Komplexität der Lasso-Regression?

Was ist die asymptotische Zeitkomplexität der Lasso-Regression, wenn die Anzahl der Zeilen oder Spalten zunimmt?

Denken Sie daran, dass Lasso ein lineares Modell mit einer Regularisierung von .$l_1$

Das Finden der Parameter kann als ein nicht eingeschränktes Optimierungsproblem formuliert werden, bei dem die Parameter durch gegeben sind

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$ .

In der beschränkten Formulierung sind die Parameter durch gegeben

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Welches ist ein quadratisches Programmierproblem und damit Polynom.

Fast alle konvexen Optimierungsroutinen, auch für flexible nichtlineare Objekte wie neuronale Netze, basieren auf der Berechnung der Ableitung Ihrer Ziel-Wrt-Parameter. Sie können jedoch nicht die Ableitung von $\alpha||w||_1$ . Als solche verlassen Sie sich auf verschiedene Techniken. Es gibt viele Methoden, um die Parameter zu finden. Hier ist ein Übersichtsartikel zum Thema Least Squares Optimization mit L1-Norm Regularization . Die zeitliche Komplexität der iterativen konvexen Optimierung ist schwierig zu analysieren, da sie von einem Konvergenzkriterium abhängt. Im Allgemeinen konvergieren iterative Probleme in weniger Epochen, wenn die Beobachtungen zunehmen.

Während @JacobMick einen breiteren Überblick und einen Link zu einem Übersichtsartikel bietet, möchte ich eine "Shortcut-Antwort" geben (die als Sonderfall seiner Antwort angesehen werden kann).

Die Anzahl der Kandidatenvariablen (Merkmale, Spalten) sei und die Stichprobengröße (Anzahl der Beobachtungen, Zeilen) sei . Betrachten Sie LASSO als mit dem LARS-Algorithmus implementiert ( Efron et al., 2004 ). Die Rechenkomplexität von LASSO ist ( ibid. )n O ( K 3 + K 2 n $K$$n$$\mathcal{O}(K^3 + K^2 n)$

• Für , und die rechnerische Komplexität von LASSO ist , was der einer Regression mit Variablen entspricht ( Efron et al., 2004 , S. 443-444; auch zitiert in Schmidt, 2005 , Abschnitt 2.4; zur rechnerischen Komplexität einer Regression siehe diesen Beitrag$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$ ).
• Für , und die Rechenkomplexität von LASSO ist ( Efron et al., 2004 ).$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Verweise:

• Efron, Bradley et al. "Least Angle Regression." Die Annalen der Statistik 32.2 (2004): 407-499.
• Schmidt, Mark. "Least-Squares-Optimierung mit 11-Norm-Regularisierung." CS542B-Projektbericht (2005).