Was ist ein genaues Maß für die Sparsamkeit?

Ich arbeite derzeit an der komprimierten Erfassung und spärlichen Darstellung von Signalen, insbesondere von Bildern.

Ich werde häufig gefragt, was Sparsity-Definition ist. Ich antworte: "Wenn die meisten Elemente eines Signals in einem Bereich wie Fourier oder Wavelet Null oder nahe Null sind, ist dieses Signal auf dieser Basis spärlich." Aber es gibt immer ein Problem in dieser Definition: "Was bedeuten die meisten Elemente? Sind es 90 Prozent? 80 Prozent? 92,86 Prozent?!" Hier stellt sich meine Frage: Gibt es eine genaue, dh numerische Definition für Sparsity?

" Gibt es eine genaue, dh numerische Definition für Sparsity? " Und unter numerisch verstehe ich sowohl berechenbar als auch praktisch "verwendbar". Meiner Meinung nach gibt es noch keinen Konsens, aber es gibt einige würdige Anwärter. Die erste Option " Nur Nicht-Null-Terme zählen " ist präzise, ​​aber ineffizient (empfindlich gegenüber numerischer Approximation und Rauschen und sehr komplex in der Optimierung). Die zweite Option "Die meisten Elemente eines Signals sind Null oder nahe Null " ist ziemlich ungenau, entweder bei "Am meisten" oder "Nahe bei".

" Ein genaues Maß für die Sparsamkeit " bleibt also ohne formalere Aspekte schwer fassbar. Ein kürzlich in Hurley und Rickard durchgeführter Versuch, Sparsity zu definieren, 2009, Vergleich von Sparsity-Maßen , IEEE-Transaktionen zur Informationstheorie.

Ihre Idee ist es, eine Reihe von Axiomen bereitzustellen, die ein gutes Sparsity-Maß erfüllen sollte; Beispielsweise sollte ein Signal multipliziert mit einer Nicht-Null-Konstante dieselbe Sparsity haben. Mit anderen Worten sollte ein Sparsity-Maß homogen sein. Lustigerweise ist der Proxy bei der Kompressionserfassung oder bei der Lasso-Regression homogen. Dies ist in der Tat für jede Norm oder Quasi-Norm der Fall , selbst wenn sie zum (nicht robusten) Zählmaß als .$x$$\alpha x$$0$$\ell_1$$1$$\ell_p$$\ell_0$$p\to 0$

Also beschreiben sie ihre sechs Axiome, führen Berechnungen durch, die aus der Vermögensanalyse entlehnt wurden:

• Robin Hood (von den Reichen nehmen, den Armen geben reduziert die Sparsamkeit),
• Skalierung (konstante Multiplikation bewahrt die Sparsamkeit),
• Rising Tide (das Hinzufügen des gleichen Kontos ungleich Null verringert die Sparsamkeit),
• Klonen (das Duplizieren von Daten bewahrt die Sparsamkeit),
• Bill Gates (Ein Mann, der reicher wird, erhöht die Sparsamkeit),
• Babys (das Hinzufügen von Nullwerten erhöht die Sparsamkeit)

und prüfen Sie bekannte Maßnahmen gegen sie, und zeigen Sie, dass der Gini-Index und einige Norm- oder Quasi-Norm-Verhältnisse gute Kandidaten sein könnten (für letztere sind einige Details in Euklid in einem Taxi enthalten: Sparse Blind Deconvolution with Smoothed Regularization$\ell_1/\ell_2$ , 2005, IEEE Signal Processing Letters). Ich bin der Meinung,$p$$q$ $\ell_p/\ell_q$ dass diese anfängliche Arbeit weiterentwickelt werden sollte (bleiben Sie bei SPOQ, Smoothed over Quasi-Normen / Norm-Verhältnisse ). Da für ein Signal , die Norm Verhältnis Ungleichheit ergibt:$x$$0< p\le q$

und tendiert zu (linke Seite, links), wenn dünn ist, und zur rechten Seite (rechts), wenn nicht. Diese Arbeit ist jetzt ein Preprint: SPOQ: reibungslose p-Over-q-Regularisierung für die spärliche Signalwiederherstellung bei Massenspektrometrie . Ein solides Maß für die Sparsamkeit sagt Ihnen jedoch nicht, ob die transformierten Daten für Ihren Zweck ausreichend spärlich sind oder nicht.$1$$x$

Schließlich ist ein anderes Konzept, das bei der Kompressionserfassung verwendet wird, das der Kompressibilität von Signalen, wobei die neu geordneten (absteigende Reihenfolge) Koeffizientengrößen einem Potenzgesetz folgen und je größer das , desto schärfer der Zerfall.$c_{(k)}$$C_\alpha .(k)^{-\alpha}$$\alpha$