Effizientes Berechnen oder Approximieren der VC-Dimension eines neuronalen Netzwerks

Mein Ziel ist es, das folgende Problem zu lösen, das ich durch seine Eingabe und Ausgabe beschrieben habe:

Eingang:

Ein gerichteter azyklischer Graph mit Knoten, Quellen und Senke ( ). $G$ $m$ $n$ $1$ $m > n \geq 1$

Ausgabe:

Die VC-Dimension (oder eine Annäherung davon) für das neuronale Netzwerk mit Topologie . $G$

Weitere Einzelheiten :

Jeder Knoten in ist ein Sigma-Neuron. Die Topologie ist fest, aber die Gewichte an den Kanten können durch den Lernalgorithmus variiert werden. $G$
Der Lernalgorithmus ist fest (etwa Rückwärtspropagierung).
Die Quellknoten sind die Eingabe-Neuronen und können nur Zeichenfolgen aus als Eingabe verwenden. $n$ $\{-1,1\}^n$
Der Senkenknoten ist die Ausgabeeinheit. Es gibt einen reellen Wert von , den wir auf oder auf wenn er um mehr als ein bestimmtes festes Schwellwert- von . $[-1,1]$ $1$ $-1$ $\delta$ $0$

Der naive Ansatz besteht einfach darin, zu versuchen, mehr und mehr Punkte zu knacken, indem versucht wird, das Netzwerk darauf auszubilden. Diese Art von Simulationsansatz ist jedoch nicht effizient.

Frage

Gibt es eine effiziente Möglichkeit (dh in wenn zum Entscheidungsproblem gewechselt wird: Ist die VC-Dimension kleiner als der Eingabeparameter ?), Diese Funktion zu berechnen? Wenn nicht, gibt es Härteergebnisse? $\mathsf{P}$ $k$

Gibt es eine Methode, die sich in der Praxis bewährt, um diese Funktion zu berechnen oder zu approximieren? Wenn es sich um eine Annäherung handelt, gibt es Garantien für deren Richtigkeit?

Anmerkungen

Ich habe eine ähnliche Frage zu Statistiken gestellt. SE, aber es hat kein Interesse geweckt.

— Artem Kaznatcheev
quelle

Es könnte die Frage eigenständiger machen, wenn Sie die Übertragungsfunktion expliziter machen könnten. Das heißt, Sie geben die tatsächlichen Formeln für die Weitergabe der Informationen an.

— Suresh

Wenn Sie bereit sind, das Problem weiter indem Sie das Netzwerk überlagern, gibt Tom Mitchells "Maschinelles Lernen" eine Obergrenze von ( ) an (Abschnitt 7.4.4), wobei die Anzahl der internen Knoten ist (muss höher als 2 sein), ist die VC-Dimension der einzelnen Knoten und ist die Basis des natürlichen Logarithmus. Wenn Sie an die Anzahl der Trainingsbeispiele gebunden sind, sollten diese Informationen ausreichen. $2ds \log(es)$ $s$ $d$ $e$

Es ist nicht unbedingt eine Antwort auf Ihre Frage, aber es könnte Ihnen auf dem Weg helfen. Das Ergebnis stammt von Baum und Haussler (1989).

— Peter
quelle