Wie skaliert Lasso mit der Größe der Designmatrix?

Wenn ich ein Design haben Matrix , wobei die Anzahl der Beobachtungen der Dimension , was die Komplexität der Lösung für $X\in\mathcal{R}^{n\times d}$ $n$ $d$ mit LASSO, wrtund? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen Parametern skaliert, und nicht darauf, wie sich die Anzahl der Iterationen (Konvergenz) skaliert, sofern Sie sich nicht anders fühlen. $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

Ich habe diese frühere LASSO Komplexität lesen Frage , aber es scheint im Widerspruch zu der Diskussion über glmnet hier und hier . Ich bin mir bewusst, dass es viele Algorithmen gibt, einschließlich des GLM-Ansatzes von glmnet, aber ich schreibe einen Artikel über das Ersetzen einer LASSO-Komponente durch einen übergeordneten Algorithmus und möchte eine Diskussion über die LASSO-Komplexität im Allgemeinen, insbesondere mit und . Ich würde auch gerne die Komplexität von glmnet im nicht spärlichen Grundfall kennen, aber das Dokument, auf das verwiesen wird, ist etwas verwirrend, da die gesamte Komplexität des Algorithmus nicht explizit ist. $d$ $n$

— rnoodle
quelle

Es ist nicht klar, warum diese Antwort stats.stackexchange.com/a/190717/28666 (in dem Thread, mit dem Sie verlinkt haben) Ihre Frage nicht beantwortet. Können Sie das näher erläutern? Was steht im Widerspruch zu was?

— Amöbe sagt Reinstate Monica

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

@amoeba Der von Ihnen angegebene Link bezieht sich auf den LARS-Algorithmus. Ich möchte mehr über den GLM-Ansatz erfahren.

— rnoodle

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

d

$d$

Die Antworten aus den Referenzen,

$\mathcal{O}(d^2n)$
$\mathcal{O}(dn)$

, sind richtig.

Der Unterschied ist das

LARS- Gleichungen werden in geschlossener Form geschrieben und finden eine genaue Lösung

$O(d^2n)$

während

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

Das Skalieren von LARS ist ein Problem mit der Komplexität der Berechnungen. Das Skalieren des Koordinatenabfalls ist ein Problem, das Rechenkomplexität und Konvergenz beinhaltet.

— Sextus Empiricus
quelle