Universeller Approximationssatz für Faltungsnetzwerke

Der universelle Approximationssatz ist ein ziemlich bekanntes Ergebnis für neuronale Netze, das im Grunde besagt, dass unter bestimmten Annahmen eine Funktion durch ein neuronales Netz mit beliebiger Genauigkeit einheitlich approximiert werden kann.

Gibt es ein analoges Ergebnis, das für Faltungs-Neuronale Netze gilt?

Dies ist eine interessante Frage, es fehlt jedoch eine angemessene Klärung dessen, was als Faltungs-Neuronales Netzwerk angesehen wird .

Ist die einzige Voraussetzung , dass das Netzwerk aufzunehmen hat eine Faltungsoperation? Muss es nur Faltungsoperationen beinhalten? Werden Pooling-Operationen zugelassen? In der Praxis verwendete Faltungsnetzwerke verwenden eine Kombination von Operationen, häufig einschließlich vollständig verbundener Schichten (sobald Sie eine vollständig verbundene Schicht haben, verfügen Sie über eine theoretische universelle Approximationsfähigkeit).

Betrachten Sie den folgenden Fall, um eine Antwort zu erhalten: Eine vollständig verbundene Schicht mit Eingängen und K Ausgängen wird unter Verwendung einer Gewichtsmatrix W ∈ R K × D realisiert . Sie können diesen Vorgang mit 2 Faltungsschichten simulieren:$D$$K$$W \in \mathbb R ^{K\times D}$

1. Der erste Teil hat Filter der Form D . Das Element d des Filters k , d ist gleich W k , d , der Rest sind Nullen. Diese Schicht transformiert die Eingabe in einen K D -dimensionalen Zwischenraum, in dem jede Dimension ein Produkt eines Gewichts und seiner entsprechenden Eingabe darstellt.$K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. Die zweite Schicht enthält Filter aus Form K D . Die Elemente k D … ( k + 1 ) D des Filters k sind Einsen, der Rest sind Nullen. Diese Schicht führt die Summierung von Produkten aus der vorherigen Schicht durch.$K$$KD$$kD\ldots(k+1)D$$k$

Ein solches Faltungsnetzwerk simuliert ein vollständig verbundenes Netzwerk und verfügt somit über die gleichen universellen Approximationsfähigkeiten. Es liegt an Ihnen zu überlegen, wie nützlich ein solches Beispiel in der Praxis ist, aber ich hoffe, es beantwortet Ihre Frage.

Es scheint, dass diese Frage in diesem kürzlich erschienenen Artikel von Dmitry Yarotsky bejaht wurde: Universelle Approximationen invarianter Karten durch neuronale Netze .

Der Artikel zeigt, dass jede translatorische äquivariante Funktion durch ein Faltungsnetzwerk beliebig gut approximiert werden kann, da sie in direkter Analogie zum klassischen universellen Approximationssatz ausreichend breit ist.

Siehe das Papier Universalität tiefer Faltungs-Neuronaler Netze von Ding-Xuan Zhou , das zeigt, dass Faltungs-Neuronale Netze universell sind, dh sie können jede kontinuierliche Funktion mit beliebiger Genauigkeit approximieren, wenn die Tiefe des Neuronalen Netzes groß genug ist.