k-NN verallgemeinert in einem sehr restriktiven Sinne. Es werden einfach Glättungsprioren (oder Kontinuitätsannahmen) verwendet. Diese Annahme impliziert, dass Muster, die sich im Merkmalsraum befinden, höchstwahrscheinlich zur selben Klasse gehören. Durch k-NN kann keine funktionelle Regelmäßigkeit in der Musterverteilung wiederhergestellt werden.
Daher sind repräsentative Trainingsmuster erforderlich, die insbesondere bei hochdimensionalen Merkmalsräumen extrem groß sein können. Schlimmer noch, diese Beispiele sind möglicherweise nicht verfügbar. Folglich kann es keine Invarianten lernen. Wenn Muster einigen Transformationen unterzogen werden können, ohne ihre Beschriftungen zu ändern, und das Trainingsmuster nicht Muster enthält, die auf alle zulässigen Arten transformiert wurden, erkennt k-NN niemals transformierte Muster, die während des Trainings nicht präsentiert wurden. Dies gilt beispielsweise für verschobene oder gedrehte Bilder, wenn sie vor dem Ausführen von k-NN nicht in einer invarianten Form dargestellt werden. k-NN kann nicht einmal von irrelevanten Merkmalen abstrahieren.
Ein weiteres etwas künstliches Beispiel folgt. Stellen Sie sich vor, dass Muster, die zu verschiedenen Klassen gehören, periodisch verteilt werden (z. B. gemäß Sinus - wenn es kleiner als 0 ist, gehören Muster zu einer Klasse und es ist größer, dann gehören Muster zu einer anderen Klasse). Trainingsset ist endlich. Es wird sich also in einer endlichen Region befinden. Außerhalb dieser Region beträgt der Erkennungsfehler 50%. Man kann sich die logistische Regression mit periodischen Basisfunktionen vorstellen, die in diesem Fall viel besser abschneiden. Andere Methoden können andere Regelmäßigkeiten in Musterverteilungen lernen und gut extrapolieren.
Wenn man also den Verdacht hat, dass der verfügbare Datensatz nicht repräsentativ ist und eine Invarianz gegenüber einigen Transformationen von Mustern erreicht werden sollte, dann ist dies der Fall, in dem man über k-NN hinausgehen sollte.