Der No-Free-Lunch-Satz und die K-NN-Konsistenz

Beim rechnerischen Lernen besagt das NFL-Theorem, dass es keinen universellen Lernenden gibt. Für jeden Lernalgorithmus gibt es eine Verteilung, die bewirkt, dass der Lernende mit hoher Wahrscheinlichkeit eine Hypotese mit einem großen Fehler ausgibt (obwohl es eine Hypotese mit geringem Fehler gibt). Die Schlussfolgerung ist, dass zum Lernen die Hypotese-Klasse oder die Verteilungen eingeschränkt werden müssen. In ihrem Buch "Eine probabilistische Theorie der Mustererkennung" beweisen Devroye et al. Den folgenden Satz für den Lernenden der K-nächsten Nachbarn:

Assume μ has a density. if k \to \infty and k / n \to 0 then for every ϵ > 0, there's N, s.t. for all n > N : P (R_{n} - R^{*} > ϵ) < 2 e x p (- C_{d} n ϵ^{2})

$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$ Wobei

R^{*}

$R^*$ der Fehler der Bayes-optimalen Regel ist, ist

R_{n}

$R_n$ der wahre Fehler des K-NN-Ausgangs (der Die Wahrscheinlichkeit liegt über dem Trainingssatz der Größe

n

$n$ ),

μ

$\mu$ ist das Wahrscheinlichkeitsmaß für den Instanzraum

R^{d}

$\mathbb{R}^d$ und

C_{d}

$C_d$ Diese Konstante hängt nur von der euklidischen Dimension ab. Daher können wir der besten Hypothese, die es gibt, so nahe kommen, wie wir wollen (nicht die beste in einer eingeschränkten Klasse), ohne eine Annahme über die Verteilung zu treffen. Also versuche ich zu verstehen, wie dieses Ergebnis dem NFL-Theroem nicht widerspricht? Vielen Dank!

k-nearest-neighbour consistency

— Michael J.
quelle

Ich verstehe das NFL-Theorem so, dass es keinen Lernalgorithmus gibt, der in jeder Aufgabe besser ist als der Rest. Dies ist jedoch kein Satz im klaren mathematischen Sinne, dass er einen Beweis hat, sondern eine empirische Beobachtung.

Ähnlich wie Sie es für das kNN gesagt haben, gibt es auch den universellen Approximationssatz für neuronale Netze, der besagt, dass wir bei einem zweischichtigen neuronalen Netz jede Funktion mit einem beliebigen Fehler approximieren können.

Wie bricht das die NFL nicht? Grundsätzlich heißt es, dass Sie jedes denkbare Problem mit einem einfachen 2-Schicht-NN lösen können . Der Grund dafür ist, dass NNs theoretisch alles approximieren können, in der Praxis ist es jedoch sehr schwierig, ihnen das Approximieren beizubringen. Aus diesem Grund sind für einige Aufgaben andere Algorithmen vorzuziehen.

Eine praktischere Art, NFL zu interpretieren, ist die folgende:

Es gibt keine Möglichkeit, a priori zu bestimmen, welcher Algorithmus für eine bestimmte Aufgabe am besten geeignet ist.

— CaucM
quelle

Vielen Dank für die Antwort, aber es gibt einige Ungenauigkeiten. Erstens hat der NFL-Satz einen Beweis (zum Beispiel shalev-shwartz & ben-david, Verständnis für maschinelles Lernen, Kapitel 5). Für den universellen Approximationssatz - dieser Satz befasst sich mit Ausdruckskraft, während sich der NFL-Satz mit Verallgemeinerung befasst.

— Michael J