Lösen des konvexen Optimierungsproblems beim Entrauschen von hoher Qualität

8

Die am höchsten bewertete Antwort auf diese Frage legt nahe, dass man ein Signal unter Beibehaltung scharfer Übergänge entrauschen sollte

Minimieren Sie die Zielfunktion:

$| x - y |^{2} + b | f (y) |$ $|x-y|^2 + b|f(y)|$
Dabei ist das verrauschte Signal, das entrauschte Signal, der Regularisierungsparameter undist eine L1-Normstrafe. Das Entrauschen wird erreicht, indem die Lösung für dieses Optimierungsproblem gefunden wird, und hängt vom Geräuschpegel ab. $x$ $y$ $b$ $|f(y)|$ $y$ $b$

Es gibt jedoch keinen Hinweis darauf, wie dies in der Praxis erreicht werden könnte, da dies in einem sehr hochdimensionalen Raum ein Problem darstellt, insbesondere wenn das Signal z. B. 10 Millionen Abtastwerte lang ist. Wie wird diese Art von Problem in der Praxis für große Signale rechnerisch gelöst?

— John Robertson
quelle

Beschäftigen Sie sich mit der Laufzeit? Ansonsten ist die Iteratur zum Minimieren einer Funktion ziemlich umfangreich (Levenberg-Marquardt, Nelder-Mead usw. kommen in den Sinn). Es gibt sogar einige modifizierte Versionen, die speziell dafür entwickelt wurden.

— Thang

Eigentlich habe ich eine Frage an die Leute, die unten antworten. Was ist nicht nur langsam, sondern auch falsch an etwas wie Levenberg-Marquardt oder Nelder-Mead? Dies sind verallgemeinerte Optimierer, sodass Sie

sogar numerisch approximieren können .

f

$f$

— Thang

Ja, ich beschäftige mich mit der Laufzeit, aber danke, dass Sie auf diese Methoden hingewiesen haben.

— John Robertson

6

Boyd hat einen Matlab-Löser für große Probleme mit ℓ1-regulierten kleinsten Quadraten . Die Problemformulierung dort ist etwas anders, aber die Methode kann für das Problem angewendet werden.

Der klassische Ansatz der Majorisierung und Minimierung funktioniert ebenfalls gut. Dies entspricht einer iterativen Durchführung eines Soft-Thresholding ( für TV, Clipping ).

Die Lösungen können den Links entnommen werden. Es gibt jedoch viele Methoden, um diese Funktionen durch die umfangreiche Verwendung von Optimierungsliteratur zu minimieren.

PS: Wie in anderen Kommentaren erwähnt, wird FISTA gut funktionieren. Eine andere "sehr schnelle" Algorithmusfamilie sind Primal-Dual-Algorithmen. Sie können die interessante Arbeit von Chambolle als Beispiel sehen, es gibt jedoch eine Vielzahl von Forschungsarbeiten zu Primal-Dual-Methoden für lineare inverse Problemformulierungen.

— Deniz
quelle

Worauf bezieht sich "Primal-Dual" genau?

— Spacey

Mohammad, ich habe keinen Primal-Dual-Algorithmus für inverse Probleme implementiert. Sie können jedoch ein Beispiel aus dem Link sehen, den ich in der Antwort erwähnt habe: das Papier von Chambolle. In diesem Artikel können Sie sehen, was ein Primal-Dual-Algorithmus genau bedeutet. Diese Methoden bieten nur eine weitere (und schnell konvergente) Lösung für inverse Probleme.

— Deniz

Ich dachte, Primal Dual ist kombinatorische Optimierung? Wie können Sie dieses Problem generisch (für ein generisches

) in dieses Framework umwandeln ?

f

$f$

— Thang

Wie ich bereits erwähnt habe, bin ich kein Experte auf diesem Gebiet. Sie können das Papier von Chambolle sehen und sehen, wie Primal-Dual-Methoden verwendet werden können, um Probleme wie

oder TV-Regularisierung zu lösen .

ℓ_{1}

$\ell_1$

— Deniz

4

Um Optimierungsprobleme mit TV-Strafen zu lösen, verwenden wir einen kürzlich vorgeschlagenen Algorithmus namens Fast Gradient Based Algorithms für Constrained Total Variation Image Denoising- und Deblurring-Probleme (FISTA) , der eine bessere Konvergenzrate aufweist als herkömmliche iterative Methoden wie ASD-POCS.

— Chaohuang
quelle

1

Können Sie weitere Informationen zum Algorithmus hinzufügen, da für die einzige von Ihnen verknüpfte Referenz der Kauf des Artikels erforderlich ist?

— Jason R

iew3.technion.ac.il/~becka/papers/71654.pdf

— Chaohuang

@ JasonR, Es ist im Grunde Nesterov Beschleunigung des ProxBedieners. Wirklich gute Arbeit.

— Royi

3

In dem speziellen Fall, in dem , kann die Zielfunktion wie geschrieben werden $f(y)=\|y\|_1$

‖ x - y ‖^{2} + b ‖ y ‖_{1} = \sum_{i} (x_{i} - y_{i})^{2} + b \sum_{i} | y_{i} |,

$\|x-y\|^2 + b\|y\|_1 = \sum_i(x_i - y_i)^2 + b\sum_i |y_i|,$

Um dies zu minimieren, muss jeder Eintrag der Summe minimiert werden:

\hat{y_{i}} = a r g m i n {(x_{i} - y_{i})^{2} + b | y_{i} |}

$\hat{y_i} = argmin \{(x_i-y_i)^2 + b|y_i|\}$

Mit Hilfe von Subdifferentialen kann gezeigt werden, dass der Minimierer der Soft-Thresholding-Operator mit dem Schwellenwert . Dies ist die von Donoho und Johnstone vorgeschlagene Methode zur Signalentstörung. Weitere Informationen finden Sie in ihrem Artikel Ideale räumliche Anpassung durch Wavelet-Schrumpfung . $b$

In diesem Fall benötigen Sie meines Erachtens keinen komplexeren Löser, um Ihr Signal abzuschätzen.

— Alejandro
quelle

Sie haben eine

-Normstrafe

anstatt eine Gesamtvariation Strafe

. Ist das ein Tippfehler?

L^{1}

$L^1$

| y_{i} |

$\vert y_i\vert$

| y_{i + 1} - y_{i} |

$\vert y_{i+1}-y_i\vert$

— John Robertson

In der Frage heißt es: "und | f (y) | ist eine L1-Normstrafe", also habe ich einfach die

Norm eingesteckt, was der klassische Fall beim Entrauschen von Signalen ist. Aber vielleicht verstehe ich die Frage falsch.

ℓ_{1}

$\ell_1$

— Alejandro

Yah, das hätte klarer sein können. In diesem Zitat

ist eine Funktion des gesamten Signals, die nicht unbedingt eine Funktion auf jede Komponente des Signals , das ausgeführt wird , das heißt

unterschiedliche Signalabtastwerte zusammen zB kombinieren

ist völlig legitim.

f

$f$

f

$f$

f (x_{0}, x_{1}, . . .) = (x_{1} - x_{0}, x_{2} - x_{1}, . . .)

$f(x_0,x_1,...)=(x_1-x_0,x_2-x_1,...)$

— John Robertson

Aha. Ich werde diese Antwort hinzufügen, wenn für den speziellen Fall, in dem

die Norm

ist.

f (y)

$f(y)$

ℓ_{1}

$\ell_1$

— Alejandro

2

Hinzugefügt: wenn sind die Begriffe alle unabhängig - wie @Alejandro hervorhebt, können Sie jeden Begriff einfach für sich minimieren. Es ist interessanter zu minimieren $f(x) = \ell_1(x) = \sum |x_i|$
$\qquad\qquad$ wobei anstelle von viele auf 0drücken soll. Die folgenden Hinweise gelten für diesen Fall. (Ich nenne die Variablen , nicht .) $\| Ax - b \|_2^2 + \lambda \|x\|_1$
$\|x\|_1$ $\|x\|_2$ $x_i$
$x$ $y$

(Ein Jahr später) Ein anderer Name für den Fall

Norm ist Elastic Net Regularization . Hastie et al., Elemente des statistischen Lernens p. 661 ff. Besprechen Sie dies zur Klassifizierung.

f (x) = ℓ_{1}

$f(x) = \ell_1$

Ein schneller und einfacher Weg, um eine ungefähre Lösung mit vielen ist das Abwechseln $x_i = 0$

Minimieren Sie durch einfache kleinste Quadrate $\|Ax - b\|$
Shrink aka Soft-Schwelle: Setze klein . $x_i = 0$

Dies ist eine Form von iterativ neu gewichteten kleinsten Quadraten mit Gewichten 0 oder 1. Ich würde erwarten, dass Methoden in Papieren, die in früheren Antworten zitiert wurden, bessere Ergebnisse liefern; das ist einfach.

$f() + \lambda g()$ $f()$ $\lambda g()$

— denis
quelle