Warum der Name "Kernel" in Statistiken und ML?

Dies wurde auf anderen SE-Sites im Zusammenhang mit Betriebssystemen und linearer Algebra gefragt, aber die gleiche Frage beunruhigt mich hinsichtlich der in der Statistik und beim maschinellen Lernen verwendeten Kernelmethoden.

Oft wird gesagt, dass Kernel, z. B. bei der Schätzung der Kerneldichte oder bei SVMs, eine Ähnlichkeit darstellen, aber ich verstehe nicht, woher der Name "Kernel" kommt und was die Symbolik dafür ist.

Wie sieht die Etymologie von Kerneln im Kontext von Statistik und maschinellem Lernen aus?

Um es klar zu sagen, ich weiß genau, was ein Kernel ist und was seine wichtigsten Eigenschaften sind. Ich bin nur neugierig auf den Namen, da ich nicht verstehe, was er mit dem Samen oder Kern zu tun hat, wie er meistens in definiert ist Wörterbücher. Zumindest kann ich keine tiefere Bedeutung als "den wesentlichen Teil der Methode" erkennen.

terminology

— Blaza
quelle

Antworten:

Sie können einige Informationen zu diesem Thema finden, indem Sie auf der Website nach frühesten bekannten Verwendungen für einige der Wörter der Mathematik suchen, die vom Mathematiker Jeff Miller gepflegt werden. Informationen zur Etymologie des Wortes "Kernel" finden Sie auch in Standardwörterbuchquellen.

Fredholm (1903) schrieb auf Französisch und verwendete das Wort "noyau" (Kern). Hilbert (1904) übernahm diesen Begriff, schrieb jedoch auf Deutsch und brachte das deutsche Wort "kern" (Kern) hervor. Diese Begriffe wurden im Zusammenhang mit der Abfassung von Integralgleichungen in der Funktionsanalyse verwendet. Kurz danach verwendet Bôcher (1909), der in englischer Sprache schreibt, den Begriff "Kernel", um sich auf dieselben Objekte zu beziehen. Der Begriff verbreitet sich dann in der englischsprachigen Literatur über Funktionsanalyse, Fourier-Analyse und später über Wahrscheinlichkeit und Statistik.

Nach dem oben verlinkten Wörterbuch stammt dieses Wort aus dem Alt-Englischen und dem Proto-Germanischen. Es kann sich entweder auf einen Samen oder auf den Kern, das Zentrum oder die Essenz eines Objekts beziehen. Die sprachliche Ähnlichkeit zwischen dem deutschen "Kern" und "Kernel" scheint auf ähnliche historische Ableitungen zurückzuführen zu sein. Das Wort "Kernel" soll von einem hypothetischen (rekonstruierten) protogermanischen Wort "kurną" (Mais) abgeleitet sein. Auf der Grundlage dieser Geschichte scheint es, dass sich das Wort "Kern" etymologisch auf einen Samen, einen Kern oder eine Essenz bezieht und auf der Anglisierung eines alten deutschen Wortes für Mais basiert.

UPDATE: Diese Antwort wurde stark überarbeitet, um neue Informationen widerzuspiegeln, auf die ich von den Nutzern cbeleites und RM aufmerksam gemacht wurde . Anfangs dachte ich, dass dies eine kürzliche Anglisierung des Wortes "Kern" gewesen sein könnte, aber die Wörterbuchquellen legen nahe, dass das Wort "Kernel" im Englischen sehr alt ist. Ich bin kein Linguist und stelle lediglich Informationen aus den oben genannten Quellen zur Verfügung.

— Setzen Sie Monica wieder ein
quelle

Noch nie von Maxime Bôcher gehört. Zunächst dachte ich, es sei vielleicht ein Tippfehler für Salomon Bochner, der einige Jahre später unter anderem sehr groß (ein Riese) in integralen Kerneln war.

— Mark L. Stone

Das ist meine Schuld - ich bin mir nicht sicher, wie ich den Akzent o tippe. Wie hast du es gemacht?

— Setzen Sie Monica am

Ich habe aus der Wikipedia-Liste kopiert und eingefügt.

— Mark L. Stone

Eigentlich wusste ich, dass Bochner ein Gigant in Sachen Kernel ist, hörte aber nie von Bocher. Bochner war der Doktorvater von Samuel Karlin, von dem ich einen Kurs in Total Positivity belegte (total positive Kernel, die Variationen induzieren, die Transformationen verringern, und so weiter) Jazz).

— Mark L. Stone

Ich bin mir nicht sicher, ob der Kernel eine anglisierte Version von Kern ist, zumindest nicht im Sinne von etwas, das erst vor etwas mehr als 100 Jahren passiert ist. Ich habe es immer als Übersetzung genommen: merriam-webster.com/dictionary/kernel Definition 1 heißt auf Deutsch "Kern". ZB für einen Apfel sind die Samen = Kern = Kerngehäuse.

— cbeleites unterstützt Monica

Ein Kernel wird beim maschinellen Lernen und in der Statistik häufig verwendet. Einige Beispiele sind:

In Support Vector Machines ist ein Kernel eine Funktion, die die Daten auf einen höherdimensionalen Raum abbildet, in dem das Problem linear lösbar wird (siehe dies ).
Kernel-Dichteschätzung

Die Kernel-Dichteschätzung ist eine nicht parametrische Methode zum Schätzen der Wahrscheinlichkeitsdichtefunktion einer Zufallsvariablen.

In diesem Zusammenhang ist ein Kernel einfach eine Gewichtungsfunktion, die bei der Schätzung der Kerneldichte verwendet wird. Der letzte Link enthält einige weitere Verwendungen des Wortes Kernel in der Statistik.

In Convolutional Neural Networks ist ein Kernel eine kleine Matrix, mit der die Faltung zwischen dem Bild und sich selbst durchgeführt wird. Sehen Sie hier .

In all diesen Beispielen ist ein Kernel eine mathematische Funktion, die für eine Art Transformation Ihrer Daten verwendet wird. Der Kernel ist im Wesentlichen der konstante Teil dieser Transformation. Abhängig von der Wahl des Kernels, den wir für jede Transformation verwenden, erhalten wir möglicherweise einen anderen Effekt.

— Djib2011
quelle

Zwei weitere Beispiele, auf die ich gestoßen bin: In Bezug auf Wahrscheinlichkeitsdichtefunktionen kann sich der "Kernel" auf eine Funktion beziehen, die proportional zur Dichte ist, dh für , könnte als Kernel angesehen werden. Zweitens kann sich der "Kernel" in der numerischen Analyse auf eine Kernfunktion beziehen, die während eines iterativen Algorithmus mehrmals berechnet werden muss.

β e^{- β x}

$\beta e^{-\beta x}$

e^{- β x}

$e^{-\beta x}$

— Cliff AB

OP sucht nach der Etymologie der Kerne.

— Franck Dernoncourt

Hat die Verwendung von "kernal" zur Bezugnahme auf den Nullraum in der linearen Algebra irgendeine Beziehung zu einer dieser Verwendungen beim maschinellen Lernen?

— SyntonicC