Der Ursprung des Begriffs "Regularisierung"

Wenn ich meinen Schülern Konzepte vorstelle, finde ich es oft lustig, ihnen zu sagen, woher die Terminologie stammt ("Regression" ist beispielsweise ein Begriff mit einer interessanten Herkunft). Ich konnte die Geschichte / den Hintergrund des Begriffs "Regularisierung" im statistischen / maschinellen Lernen nicht aufdecken.

Woher stammt also der Begriff Regularisierung ?

Ähnlich wie Matthew Gunns Beitrag ist dies auch keine wirkliche Antwort, sondern eher ein plausibler Kandidat.

Ich hörte auch zuerst von dem Begriff "Regularisierung" im Zusammenhang mit der Tikhonov-Regularisierung und insbesondere im Zusammenhang mit (linearen) inversen Problemen in der Geophysik. Interessanterweise hat Tikhonov , obwohl ich geglaubt hatte, dass dies wahrscheinlich auf meinen Studienbereich zurückzuführen ist (siehe meinen Benutzernamen), anscheinend tatsächlich einen Großteil seiner Arbeit in diesem Bereich geleistet!

Meine Vermutung ist , dass der moderne „Regularisierung“ Ansatz wahrscheinlich hat mit Tikhonov Arbeit stammen. Aufbauend auf dieser Spekulation besteht mein Beitrag hier aus zwei Teilen.

Der erste Teil ist (sessel-) historischer Natur (basierend auf der Durchsicht von Papiertiteln und meinen eigenen Vorurteilen!). Während die 1963 erschienene Veröffentlichung Lösung falsch formulierter Probleme und die Regularisierungsmethode die erste Verwendung des Begriffs "Regularisierung" zu sein scheinen, wäre ich mir nicht sicher, ob dies zutrifft. Diese Referenz wird in Wikipedia als zitiert

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Übersetzt in "Lösung falsch formulierter Probleme und Regularisierungsmethode". Sowjetische Mathematik. 4: 1035–1038.

Es gibt den Eindruck, dass Tikhonov selbst zumindest einen Teil dieses Werks ursprünglich auf Russisch verfasst hat, so dass die Formulierung "Regularisierung" möglicherweise von einem späteren Übersetzer geprägt wurde. [UPDATE: Nein, "регуляризации" = Regularisierung , siehe Kommentar von Cagdas Ozgenc.] Darüber hinaus scheint diese Arbeit Teil einer kontinuierlichen Forschungslinie zu sein, die Tikhonov über einen viel längeren Zeitraum durchgeführt hat . Zum Beispiel das Papier

Tichonow, Andrej Nikolajewitsch (1943). "Об устойчивости обратных задач" [Zur Stabilität inverser Probleme]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

zeigt, dass er sich vor mindestens 20 Jahren mit demselben allgemeinen Thema befasst hat. Diese Zeitlinie legt jedoch nahe, dass die Invers-Problem-Arbeit wahrscheinlich viel näher an 1963 als an 1943 begann.

[ UPDATE: Diese Übersetzung des Papiers von 1943 zeigt, dass die Terminologie für " Regularität " hier verwendet wurde, um sich auf die "Stabilität des inversen Problems (oder die Kontinuität der inversen Abbildung)" zu beziehen .]

Der zweite Teil meines Beitrags ist eine Hypothese darüber, wie "Regularisierung" ursprünglich in diesem Zusammenhang gedacht gewesen sein könnte. Sehr häufig wird "regelmäßig" als Synonym für "glatt" verwendet, insbesondere bei der Beschreibung der Kurven- und / oder Oberflächengeometrie. In den meisten Anwendungen der Geophysik besteht die gewünschte Lösung in einer gerasterten Schätzung eines räumlich verteilten Feldes , und die Tikhonov-Regularisierung wird verwendet, um vorab eine Glätte zu erzwingen.

(Die Tikhonov-Matrix ist in der Regel ein diskreter Operator für räumliche Ableitungen , ähnlich wie PDE-Matrizen, im Vergleich zur Identitätsmatrix der Ridge-Regression. Dies liegt daran, dass bei diesen Gitternetz- / Vorwärtsmodellen der Nullraum der Vorwärtsmodellmatrix tendenziell eingeschlossen ist Dinge wie "Schachbrett-Modi", die die Ergebnisse verschmutzen, sofern sie nicht bestraft werden (ähnlich wie hier ).

Update: Diese Probleme werden in meiner Antwort hier veranschaulicht .

Zusammenfassung

1. Ich habe auch meine Stimme für Tikhonov als Urheber abgegeben (wahrscheinlich um 1963)
2. Die ursprünglichen Anwendungen waren möglicherweise eine geophysikalische inverse Modellierung, sodass sich der Begriff "Regularisierung" möglicherweise darauf bezieht, die resultierenden Karten * flüssiger, dh "regelmäßig" zu machen.

(* Basierend auf dem aktualisierten Zitat aus dem Jahr 1943 scheint diese Formulierung wahr zu sein ... aber aus dem falschen Grund! Die relevante "Karte" befand sich nicht zwischen Gitter und Feld, , aber die inverse Abbildung von einem Vorwärtsmodell .)θ = F - 1 [ u $u[x]=F[\theta]$$\theta=F^{-1}[u]$

Dies ist teils eine Antwort, teils ein langer Kommentar. Eine unvollständige Kandidatenliste:

1. Tichonow, Andrej. "Lösung falsch formulierter Probleme und Regularisierungsmethode." Sowjetische Mathematik. Dokl .. Vol. 5. 1963. Tikhonov ist bekannt für die Tikhonov-Regularisierung (auch als Gratregression bekannt).

2. Es gibt ein Konzept der Regularisierung in der Physik , das mindestens bis in die 1940er Jahre zurückreicht, aber ich sehe keinen Zusammenhang mit der Tikhonov-Regularisierung? (Ich bin allerdings kein Physiker.)

3. Technische Texte sprechen von einer Regularisierung eines Flusses (zur Verbesserung der Navigation), die mindestens bis in die 1880er Jahre zurückreicht.

Bei der Suche in http://books.google.com ist der Begriff "Regularisierung" erst in den 1970er Jahren weit verbreitet, als er im Kontext von Mathematik- und Physikbüchern immer wieder auftaucht.

Am einfachsten ist, dass der Begriff die natürliche Entwicklung der wissenschaftlichen Begriffe überstanden hat, weil er das Kernziel der Technik erfasst: Von einer Reihe von Lösungen zu einem schlecht gestellten Problem wählt er die Lösungen aus, die regelmäßig sind , d. H.

gemäß der Regel

(freier Wörterbuch der Definition )

Dies wird auch in der gängigen Sprache verwendet, um beispielsweise in der Zimmerei eine glatte Oberfläche zu gestalten. In ähnlicher Weise sehen die Lösungen eines Regressionsproblems regelmäßiger aus, wenn die Regel darin besteht, die Gesamtschwankung (TV) ungleichmäßiger Bits des rekonstruierten Signals zu minimieren (beispielsweise gemessen durch die Gesamtenergie des Gradienten).

$\ell_0$