Welche Rolle spielt die Algorithmik in Zukunft, wenn sich die Techniken des maschinellen Lernens weiter verbessern?

Schauen wir uns die Zukunft in 30 Jahren an. Seien wir optimistisch und gehen wir davon aus, dass sich die Bereiche des maschinellen Lernens so schnell weiterentwickeln wie in den letzten 10 Jahren. Das wäre großartig, aber welche Rolle spielt dann die traditionelle Algorithmik in einer solchen Zukunft?

Hier beziehe ich mich mit "traditioneller Algorithmusik" auf den üblichen Prozess, den wir in TCS befolgen: Formalisieren eines genau definierten Rechenproblems , Entwerfen von Algorithmen zur Lösung des Problems und Nachweisen formaler Leistungsgarantien .

Nun, in welchen Anwendungsbereichen müssen wir auch in Zukunft traditionelle Algorithmen entwerfen und analysieren , und es ist sehr unwahrscheinlich, dass Fortschritte beim maschinellen Lernen traditionelle Algorithmen zum größten Teil irrelevant machen werden.

Auf den ersten Blick mag dies wie eine dumme Frage erscheinen: Natürlich müssen wir auch in Zukunft sortieren, suchen, indizieren usw. können! Natürlich müssen wir in der Lage sein, Fourier-Transformationen effizient durchzuführen, große Matrizen zu multiplizieren, kürzeste Wege zu finden und lineare Optimierungsprobleme zu lösen!

Aber dann wieder, wenn Sie beginnen, tiefer in den Anwendungen , in denen wir traditionell die Algorithmen verwenden , die wir entwerfen, ist es nicht klar , dass die traditionellen Algorithmen und Datenstrukturen ist die richtige Antwort auf solche Probleme: Bei Anwendungen im Zusammenhang zu suchen , In der Regel sind wir daran interessiert, etwas zu finden, das in einem vagen, unklaren Sinne (z. B. semantische Ähnlichkeit) gut zu einem Menschen passt, und nicht in einem mathematischen Sinne (z. B. Mindestbearbeitungsabstand) optimal ist. In Anwendungen zur RoutenplanungIn der Regel sind wir daran interessiert, Routen zu finden, die anhand von Beispielen gut sind (z. B. andere bevorzugen sie), nicht Routen, die in mathematischer Hinsicht optimal sind (z. B. kürzeste Entfernung oder günstigster Preis). Und wenn Sie eine vage, schlecht definierte menschliche Komponente im Bild haben, ist es möglicherweise besser, wenn wir versuchen, dem Computer beizubringen, anhand von Beispielen gute Antworten zu liefern, als einen TCS-Forscher kommen zu lassen mit einem formalen Rechenproblem, das wir mit Hilfe des traditionellen Algorithmusdesigns und der Analyse angehen können.

Was sind also die Anwendungsbereiche (vorzugsweise reale und direkte industrielle Anwendungen), in denen es absolut klar ist, dass das, was wir in der Vergangenheit in der Algorithmik getan haben, auch der richtige (und der einzig mögliche) Weg sein wird, um Fortschritte in der Industrie zu erzielen? Zukunft?

Algorithmen, die als Subroutinen in maschinellen Lerntechniken verwendet werden, sehen aus wie ein offensichtlicher, zukunftssicherer Kandidat, aber dies hängt stark von der speziellen maschinellen Lerntechnik ab, die wir verwenden, und wie wir in den letzten zehn Jahren oder so gesehen haben, kann sich dies schnell ändern .

Dies ist eine Frage, die mich in letzter Zeit verfolgt hat, daher bin ich froh, dass Sie sie gestellt haben.
Ich bin jedoch weniger an der Klassifizierung der Anwendungsbereiche interessiert, für die das maschinelle Lernen den rechnerischen Ansatz dominieren wird, als vielmehr an den Auswirkungen auf die Weiterentwicklung im Bereich der (traditionellen) Algorithmen. Für welche Art von "von Menschen gefertigten Algorithmen" werden wir uns in 30 Jahren noch interessieren? Zugegeben, dies ist im Allgemeinen die schwierigere Frage, da die Anwendung entscheidet, welche Ergebnisqualität erforderlich ist.

Ich denke, dass Aufzählungsalgorithmen zu den Überlebenden zählen werden. Es wird weiterhin erforderlich sein, alle Eingaben in einen Chip zu testen oder eine umfassende Suche durchzuführen. Die objektspezifische Aufmerksamkeit, das fein abgestimmte Design, das erforderlich ist, um jede Objektinstanz genau (oder mindestens einmal) zu generieren; und die Laufzeitverstärkung jeglicher vergeudeten Anstrengung (es kann eine exponentielle Anzahl von Instanzen geben, abhängig von der Beschreibung des Objekts) - diese Faktoren lassen mich skeptisch werden, dass ein automatisierter Allzweck-Lernprozess mit einem cleveren Schritt übereinstimmen kann. zweckmäßige Lösung in diesem Bereich.

Das Problem bei Lösungen für maschinelles Lernen ist, dass nicht bekannt ist, ob sie wirklich berechnet haben, was Sie wollten.

Ich würde erwarten, dass sie in allen Bereichen die Kontrolle übernehmen, in denen ein falsches Ergebnis nicht katastrophal ist (dh überall, wo wir derzeit Heuristiken verwenden) oder das Ergebnis einfach überprüft werden kann (Suchprobleme, für die Sie eine Lösung kennen (weil "dort überprüft wird") ist keine lösung "könnte schwer sein)).

Für die verbleibenden Domänen würde ich erwarten, dass Algorithmen immer häufiger formal bewiesen werden (z. B. mit Coq / Gallina). Hoffentlich wird maschinelles Lernen das Testen von Dingen in solchen Systemen so einfach wie auf dem Papier (oder sogar noch einfacher) machen. Es könnte sogar zu einem Punkt kommen, an dem Menschen nur die Spezifikation schreiben und der Algorithmus und sein Korrektheitsnachweis durch maschinelles Lernen gefunden werden. (Beachten Sie, dass der Algorithmus selbst kein maschinelles Lernen verwendet, aber er und seine Korrektheitsnachweise mit maschinellem Lernen gefunden wurden.)

Daher schreiben wir möglicherweise nur Proof-Assistenten, Programmspezifikationen und Algorithmen für maschinelles Lernen.