Radfahren im k-means-Algorithmus

9

Laut Wiki ist das am häufigsten verwendete Konvergenzkriterium "Zuordnung hat sich nicht geändert". Ich habe mich gefragt, ob Radfahren auftreten kann, wenn wir ein solches Konvergenzkriterium verwenden. Ich würde mich freuen, wenn jemand auf einen Artikel verweist, der ein Beispiel für das Radfahren gibt oder beweist, dass dies unmöglich ist.

clustering algorithms k-means

— Tomek Tarczynski
quelle

2

Lassen Sie mich betonen (da dies oft übersehen wird), dass die Konvergenzbeweise einen (quadratischen) euklidischen Abstand benötigen , damit die Abstandsfunktion und die mittlere Funktion dasselbe Kriterium optimieren. Wenn Sie einen anderen Abstand verwenden (eigentlich sollten Sie keinen Abstand verwenden, sondern "kleinste Quadratsumme"), verlieren Sie möglicherweise die Konvergenz in k-Mitteln.

— Hat aufgehört - Anony-Mousse

7

Dieses Papier scheint die Konvergenz in einer endlichen Anzahl von Schritten zu beweisen.

— Simon Byrne
quelle

1

Genau das, wonach ich gesucht habe!

— Tomek Tarczynski

4

Die Mittel-Zielfunktion nimmt mit jeder Änderung der Zuordnung streng ab, was automatisch eine Konvergenz ohne Zyklus impliziert. Darüber hinaus erfüllen die in jedem Schritt der Mittel erzeugten Partitionen eine "Voronoi-Eigenschaft", indem jeder Punkt immer seinem nächsten Zentrum zugeordnet wird. Dies impliziert eine Obergrenze für die Gesamtzahl möglicher Partitionen, was eine endliche Obergrenze für die Terminationszeit für Mittel ergibt. $k$ $k$ $k$

— Suresh Venkatasubramanian
quelle

Danke, es ist intuitiv, dass die Zielfunktion abnimmt, aber ich war mir nicht sicher, ob sie streng abnimmt. Ich wollte sicherstellen, dass es keinen patologischen Fall wie bei der linearen Programmierung gibt

— Tomek Tarczynski

Na ja und nein. Während es konvergiert, kann es exponentielle Zeit dauern, ähnlich wie es Simplex tut. Darüber hinaus können Sie für beide Probleme zeigen, dass "geglättete" Varianten in der Polynomzeit konvergieren

— Suresh Venkatasubramanian

2

In endlicher Präzision kann das Radfahren auftreten.

Radfahren ist häufig mit einfacher Präzision, außergewöhnlich mit doppelter Präzision.

In der Nähe eines lokalen Minimums kann sich die Zielfunktion aufgrund von Rundungsfehlern manchmal geringfügig erhöhen. Dies ist oft harmlos, da die Algorithmusfunktion wieder abnimmt und schließlich ein lokales Minimum erreicht. Gelegentlich tritt der Algorithmus jedoch auf eine zuvor besuchte Aufgabe und beginnt mit dem Radfahren.

Es ist einfach und sicher, in realen Implementierungen von Stoppkriterien nach Zyklen zu suchen.

— François zahlt
quelle