Was sind

Ich habe in letzter Zeit viele Artikel über spärliche Darstellungen gesehen, und die meisten von ihnen verwenden die $\ell_p$ Norm und führen einige Minimierungen durch. Meine Frage ist, was ist die $\ell_p$ Norm und die $\ell_{p, q}$ Mischnorm? Und wie sind sie für die Regularisierung relevant?

Vielen Dank

machine-learning regularization sparse

— Wasser
quelle

Normen sind Funktionen, die Vektoren nehmen und nichtnegative Zahlen zurückgeben. Sie sind definiert als In dem Fall, in dem , wird dies dieeuklidischeNorm genannt. Sie können den euklidischen Abstand als . Wenn , bedeutet dies nur $\ell_p$

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

(oder

). Genau genommen muss

mindestens eins sein, damit

eineNorm ist. Wenn

, dann ist

nicht wirklich eine Norm, da Normen die Dreiecksungleichung erfüllen müssen.

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

(Es gibt auch -Normen, die analog definiert sind, mit Ausnahme von Funktionen anstelle von Vektoren oder Sequenzen - das ist wirklich dasselbe, da Vektoren Funktionen mit endlichen Domänen sind.) $L_p$

Mir ist keine Verwendung einer Norm in einer Anwendung für maschinelles Lernen bekannt, bei der , außer bei . Normalerweise sehen Sie oder oder manchmal wo Sie den Fall lockern möchten ; ist in nicht streng konvex , aber ist für $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$ . Dies kann in bestimmten Fällen das "Finden" der Lösung "einfacher" machen.

Wenn Sie im Kontext der Regularisierung hinzufügen zu Ihrer Zielfunktion, was Sie sagenistdass Sie erwarten zuspärlich, das heißt,größten Teil aus Nullen besteht. Es ist ein bisschen technisch, aber wenn es einedichteLösung gibt, gibt es wahrscheinlich eine sparsamere Lösung mit derselben Norm. Wenn Sie erwarten, dass Ihre Lösung dicht ist, können SieIhrem Ziel hinzufügen , da es dann viel einfacher ist, mit der Ableitung zu arbeiten. Beide dienen dazu, zu verhindern, dass die Lösung zu viel Gewicht hat. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

Die gemischte Norm tritt auf, wenn Sie versuchen, mehrere Quellen zu integrieren. Grundsätzlich möchten Sie, dass der Lösungsvektor aus mehreren Teilen besteht , wobei der Index einer Quelle ist. Die Norm ist nur die -Norm alle -Normen in einem Vektor gesammelt. Dh $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

$\|\vec x\|_{1,2}$ $1$ $2$

Ich hoffe, das hilft.

Weitere Informationen finden Sie in diesem Dokument.

— Josephine Moeller
quelle

+1 zur Erklärung gemischter Normen. Ich habe sie selbst nie verstanden.

— Suresh Venkatasubramanian

(+1) Schöne Antwort. Willkommen bei CrossValidated, John!

— MånsT