Ich studiere maschinelles Lernen und glaube, dass es eine starke Beziehung zwischen dem Konzept der VC-Dimension und dem klassischeren (statistischen) Konzept der Freiheitsgrade gibt.
Kann jemand einen solchen Zusammenhang erklären?
Beziehung zwischen VC-Dimension und Freiheitsgraden
Antworten:
Wie von Prof. Yaser Abu-Mostafa-
Freiheitsgrade sind eine Abstraktion der effektiven Anzahl von Parametern. Die effektive Zahl basiert darauf, wie viele Dichotomien man erhalten kann, anstatt wie viele reelle Parameter verwendet werden. Im Fall von zweidimensionalem Perzeptron kann man an Steigung und Achsenabschnitt denken (plus einen binären Freiheitsgrad, für den die Region auf +1 geht), oder man kann an 3 Parameter w_0, w_1, w_2 denken (obwohl die Gewichte sein können gleichzeitig vergrößert oder verkleinert, ohne die resultierende Hypothese zu beeinflussen). Die Freiheitsgrade sind jedoch 3, weil wir die Flexibilität haben, 3 Punkte zu zerbrechen, nicht wegen der einen oder anderen Art, die Anzahl der Parameter zu zählen.
Ich denke, dies ist eine nicht standardmäßige Definition von Freiheitsgraden!
—
kjetil b halvorsen
Die VC-Dimension wird in diesem Artikel in Abschnitt 2.1 und darüber hinaus mit den angegebenen grundlegenden Deckspelzen und Beweisen sehr gut erläutert . Sie können dies durchgehen.