Compressive Sensing vs. Sparse Coding

Es gibt anscheinend verschiedene Terminologien, die verwendet werden, um auf dasselbe Feld zu verweisen, das als "Compressive Sensing" bezeichnet wird, wie z. B. (siehe diese Wiki-Seite ): Compressed Sensing, Compressive Sampling oder Sparse Sampling. Ich wundere mich allerdings über "spärliche Wahrnehmung"!

Trotzdem und nach einigen Internetsuchen scheint sich das, was als "spärliche Codierung" bezeichnet wird, nicht auf das Feld "Kompressionserfassung" zu beziehen, wie die anderen Terminologien, die ich oben zitiert habe.

Gibt es wirklich einen Unterschied zwischen Compressive Sensing und Sparse Coding?

Was ist mit Wörterbuch lernen?

Einige Nachschlagewerke bieten eine Erklärung:

• Eine in Scholarpedia beschriebene neurologische Interpretation
• Stanfords Tutorial für unbeaufsichtigtes Feature-Learning und Deep Learning

Wenn wir uns die Definition des Begriffs im Kontext des Wörterbuchlernens ansehen, zum Beispiel in K-SVD: Ein Algorithmus zum Entwerfen übervollständiger Wörterbücher für die spärliche Darstellung , ist der Begriff definiert:

Bei der spärlichen Codierung werden die Darstellungskoeffizienten basierend auf dem gegebenen Signal und dem Wörterbuch berechnet .$\mathbf x$$\mathbf y$$\mathbf D$

Eine spärliche Codierung ist also die Operation des Findens einer spärlichen Darstellung eines gegebenen Signals in einem gegebenen Wörterbuch. In Bezug auf die komprimierte Wahrnehmung scheint mir dies die relevanteste Interpretation des Begriffs zu sein. Als solche spärlich ist Codierung eng mit Compressed Sensing verwendet, aber mit der Suche nach der sparsamsten Lösung zu einer Erfassung speziell Angebote komprimiert unterbestimmt , die, wie die Theorie zeigt Satz von linearen Gleichungen, ist die richtige Lösung in diesem Fall mit hohen Wahrscheinlichkeit. Eine spärliche Codierung ist dann allgemeiner in dem Sinne, dass es sich nicht unbedingt um einen unterbestimmten Satz von Gleichungen handelt.

Wie Sie richtig bemerkt Compressed Sensing , Druck Probenahme, alle spärlichen Probenahme das gleiche bedeuten. Einige Autoren nennen es auch spärliche Wahrnehmung. Die Idee hinter der komprimierten Erfassung ist, dass ein sehr schwaches Signal aus sehr wenigen linearen Messungen wiederhergestellt werden kann. In Symbolen, wenn ist sparse Vektor und ist ein Matrix mit , und messen wir , dann komprimiert Theorie Erfassen sagt uns , dass wir genau wiederherstellen von N × 1 ‡ A M × N M ≪ N y = A x † x $\mathbf x$$N\times 1$$^\ddagger$$\mathbf A$$M\times N$$M\ll N$$\mathbf y=\mathbf{Ax}$$^\dagger$$\mathbf x$$\mathbf y$. Dies ist bemerkenswert, da es besagt, dass wir das ursprüngliche Signal aus weniger Messungen wiederherstellen können .

$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$$\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$$\mathbf x_i$$\mathbf v_j$$^*$$L < K$

$\mathbf y$$\mathbf y$

Schließlich ist spärliches Wörterbuchlernen eine Kombination aus Wörterbuchlernen und spärlicher Codierung. Das Ziel hier ist zweierlei: eine sparsame Darstellung des Satzes von Datenvektoren zu finden und sicherzustellen, dass jeder Datenvektor als lineare Kombination von möglichst wenigen Atomen geschrieben werden kann.

Compressed Sensing v / s Sparse Coding
Beide Techniken befassen sich mit dem Finden einer spärlichen Darstellung, aber es gibt subtile Unterschiede.

$\mathbf x$$\mathbf A$$\mathbf y = \mathbf{Ax}$$\mathbf A$

1. Unter welchen Bedingungen ist der unterbestimmte Satz linearer Gleichungen lösbar und wie lösen wir ihn auf rauschresistente, rechnerisch nachvollziehbare Weise?

2. $\mathbf A$

$\mathbf A$$\mathbf A$$^\%$

Verweise:

Compressive Sensing [Vorlesungsunterlagen]

Wörterbuch lernen

Online-Wörterbuchlernen für spärliche Codierung

Fußnoten:

$^\ddagger$

$^\dagger$ $\mathbf A$$M$

$^*$$\mathbf v_j$

$^\%$