Was sind die mathematischen Voraussetzungen für einen KI-Forscher?


12

Was sind die mathematischen Voraussetzungen, um den Kern der Algorithmen in der künstlichen Intelligenz zu verstehen und einen eigenen Algorithmus zu entwickeln?

Bitte verweisen Sie mir die spezifischen Bücher.

Antworten:


9

Gute Mathematik-Stiftung

Beginnen Sie mit der Sicherstellung der vollen Kompetenz in der Zwischenalgebra und einigen anderen Grundlagen der Analysis und der diskreten Mathematik, einschließlich der Terminologie und der Grundkonzepte in diesen Themen.

  • Unendliche Serie
  • Logische Beweise
  • Lineare Algebra und Matrizen
  • Analytische Geometrie, insbesondere die Unterscheidung zwischen lokalen und globalen Extremen (Minima und Maxima), Sattelpunkten und Wendepunkten
  • Mengenlehre
  • Wahrscheinlichkeit
  • Statistiken

Grundlagen der Kybernetik

Norbert Wiener, Cybernetics, 1948, MIT Press, enthält Zeitreihen und Feedback-Konzepte mit einer Klarheit und Beherrschung, die in nachfolgenden Arbeiten nicht zu sehen sind. Es enthält auch eine Einführung in die Informationstheorie, beginnend mit Shannons log 2- Formel zur Definition der Informationsmenge in einem Bit. Dies ist wichtig, um die Erweiterung des Informationsentropiekonzepts zu verstehen.

Infinitesimalrechnung

Finden Sie ein gutes Rechenbuch und stellen Sie sicher, dass Sie Klarheit über Schlüsseltheorie und Anwendung in diesen Kategorien haben.

  • Zeitfolgen
  • Unendliche Serie
  • Konvergenz - Künstliche Netzwerke konvergieren idealerweise während des Lernens zu einem Optimum.
  • Partielle Unterschiede
  • Jacobianische und hessische Matrizen
  • Multivariate Mathematik
  • Grenzregionen
  • Diskrete Mathematik

Vieles davon ist in Calculus , Strang, MIT, Wellesley-Cambridge Press . Obwohl das PDF im Web verfügbar ist, ist es einfach und nicht besonders tief. Die in der Bibliothek unseres Labors ist Intermediate Calculus , Hurley, Holt Rinehart & Winston, 1980 . Es ist umfassend und in gewisser Weise besser angelegt als das, das ich in meiner Heimbibliothek habe, die Princeton für Studenten im zweiten Jahr verwendet.

Stellen Sie sicher, dass Sie in Räumen jenseits von ℝ 2 (jenseits von 2D) bequem arbeiten können . Zum Beispiel befinden sich RNNs aufgrund der horizontalen, vertikalen, Pixeltiefe und Filmrahmenabmessungen häufig in Räumen wie 4 bis 7 .

Endliche Mathematik

Es ist bedauerlich, dass keine Kombination von drei Büchern, an die ich denken kann, all dies hat.

  • Gerichtete Diagramme - Lernen Sie dies VOR Bäumen oder Schaltkreisen (künstlichen Netzen), da dies die übergeordnete Topographie all dieser Konfigurationen ist
  • Abstrakte Symbolbäume (ASTs)
  • Fortgeschrittene Mengenlehre
  • Entscheidungsbäume
  • Markov-Ketten
  • Chaostheorie (insbesondere der Unterschied zwischen zufällig und pseudozufällig)
  • Spieltheorie beginnend mit Von Neumann und Morgensterns Spieltheorie , der wegweisenden Arbeit auf diesem Gebiet
  • Konvergenz in diskreten Systemen, insbesondere die Anwendung der Theorie auf die Signalsättigung in Ganzzahl-, Festkomma- oder Gleitkomma-Arithmetik
  • Statistische Mittelwerte, Abweichungen, Korrelationen und die fortschrittlicheren Konzepte von Entropie, relativer Entropie und Kreuzentropie
  • Kurvenanpassung
  • Faltung
  • Wahrscheinlichkeit insbesondere Bayes 'Theorem
  • Algorithmische Theorie (Gödels Unsicherheitssätze und Turing-Vollständigkeit)

Chemie und Neurologie

Es ist gut, sich an chemische Gleichgewichte aus der Chemie der High School zu erinnern. Balance spielt eine Schlüsselrolle in anspruchsvolleren KI-Designs. Das Verständnis der symbiotischen Beziehung zwischen generativen und diskriminativen Modellen in GANs hilft einem Schüler, dieses Verständnis zu fördern.

Die Kontrollfunktionen in biologischen Systemen bleiben eine Hauptquelle für Proof of Concept in der Forschung mit künstlicher Intelligenz. Wenn Forscher kreativer werden, wenn sie sich Anpassungsformen vorstellen, die einen Aspekt der Biologie nicht direkt nachahmen (zum Zeitpunkt dieses Schreibens noch weit entfernt), kann Kreativität eine größere Rolle bei der Formulierung von KI-Forschungszielen spielen.

Trotzdem wird die KI wahrscheinlich ein weitgehend interdisziplinäres Feld bleiben.


2
Einige Kommentare: 1) Ich stimme dem zu, was John in seiner Antwort geschrieben hat, dass es sich bei seiner Antwort um einen allgemeineren "Kern" handelt, während Ihre Antwort Dinge enthält, die nützlich sein können oder nicht, je nachdem, in welchen Bereich der KI jemand gerät. 2) Viele Dinge, die Sie unter "High School Math" beschreiben, sind nicht (unbedingt) High School Math, zumindest nicht in Europa (ich weiß nichts über die USA). In den Niederlanden habe ich bis zu meinem ersten Studienjahr keine lineare Algebra, Matrizen, unendliche Reihen oder Mengenlehre bekommen. Einige von ihnen wären vielleicht früher aufgetaucht, wenn ich in der High School einen anderen Kurs gewählt hätte.
Dennis Soemers

2
3) Funktionsanalyse / Maßtheorie kann in einigen Bereichen nützlich sein. Aber auch hier kommt es sehr darauf an, wie tief Sie als KI-Forscher gehen möchten. Einige KI-Forscher auf der theoretischeren Seite werden fast all diese Dinge nützlich finden. Andere KI-Forscher, die mehr auf der empirischen / Software- / Programmierseite stehen, brauchen viel, viel weniger. Beide können immer noch sehr wertvolle Forschungsergebnisse liefern.
Dennis Soemers

7

Ich arbeite als Professor und habe kürzlich in Absprache mit vielen meiner Kollegen an anderen Institutionen die mathematischen Anforderungen für ein neues AI-Hauptfach entworfen.

Die anderen Antworten, insbesondere @ FauChrisians, katalogisieren alle spezifischen Themen, die irgendwo in der KI nützlich sein könnten, aber nicht alle sind gleichermaßen nützlich, um Kernthemen zu verstehen. In anderen Fällen entspricht das Verständnis des Themas im Wesentlichen dem Verständnis der zugehörigen KI-Algorithmen. Daher unterrichten wir sie normalerweise nur zusammen, anstatt vorausgesetzte Kenntnisse vorauszusetzen. Zum Beispiel sind Markov-Entscheidungsprozesse nicht schwer für jemanden zu lehren, der die Grundlagen der Graphentheorie und der Wahrscheinlichkeiten bereits kennt. Daher behandeln wir sie normalerweise nur, wenn wir in einem KI-Kurs Verstärkungslernen unterrichten, und nicht als separates Thema in einer Mathematik Kurs.

Die mathematischen Anforderungen, auf die wir uns festgelegt haben, sehen wie folgt aus:

  • Ein oder zwei Semesterkurse in diskreter Mathematik. Dies ist genauso wichtig, um mit Beweisen und mathematischer Genauigkeit Komfort zu schaffen wie mit einem bestimmten Thema in diesem Bereich. Es ist meistens nur "grundlegendes" Wissen, aber Teile davon erweisen sich als sehr nützlich. Komfort mit unendlichen Summierungen, die Grundlagen von Graphen, Kombinatorik und asymptotischer Analyse sind vielleicht die am unmittelbarsten anwendbaren Teile. Ich mag Susanna Epps Buch .

    • Ein ein- oder zweisemestriger Kurs in linearer Algebra, der für eine Vielzahl von Themen in der KI nützlich ist, insbesondere für maschinelles Lernen und Data Mining. Lay & Lay ist ein gutes Buch, aber wahrscheinlich nicht das absolut beste. Shilov ist eine Empfehlung von Ian Goodfellow und anderen, aber ich habe es selbst nicht versucht.

    • Ein Kurs in Wahrscheinlichkeit und möglicherweise ein moderner Kurs in Statistik (dh mit einem Bayes'schen Fokus). Ein älterer Kurs in Statistik oder ein Kurs für Sozialwissenschaftler ist jedoch nicht sehr nützlich. Meine Statistikkollegen verwenden Lock5 gerade und haben gute Erfahrungen damit gemacht.

    • Zumindest Differential- und Integralrechnung und vorzugsweise zumindest partielle Ableitungen in der Vektorrechnung, aber vielleicht den gesamten Verlauf. Dies ist nützlich bei der Optimierung, beim maschinellen Lernen und bei wirtschaftsbasierten KI-Ansätzen. Stewart ist das häufigste Lehrbuch. Es ist umfassend und kann für alle drei Kurse verwendet werden, aber die Erklärungen sind nicht immer die besten. Ich würde es trotzdem empfehlen.

Das sind die Kernthemen. Wenn Sie nicht auch einen traditionellen Hintergrund in der Programmierung haben, können ein Kurs in Graphentheorie und die Grundlagen der asymptotischen Komplexität oder des Entwurfs und der Analyse von Algorithmen eine gute Ergänzung sein. Normalerweise kommen AI'er aus einem Standard-Informatik-Hintergrund, der all diese Dinge sehr gut abdeckt.


1
@FauChristian Ich denke, wir haben die gleichen Themen aufgelistet: Kalkül und endliche Mathematik sicher. Wir sind beide der Meinung, dass Sie jeweils ein paar Kurse belegen sollten. Ich habe Statistiken und Wahrscheinlichkeiten aufgelistet. Ich denke, wenn Sie moderne Arbeit in der KI machen wollen, werden Sie ohne das nicht weit kommen. Sie haben Chemie und Neurowissenschaften aufgelistet. Ich denke, nur wenige AI'er würden diese als notwendige Themen betrachten. Sicherlich können Sie ohne Russell & Norvig durchkommen. Wenn Sie in den Computational Neuroscience arbeiten möchten (nicht in Deep Learning), kann dies jedoch hilfreich sein. Ich bezweifle auch, dass Sie 16 Jahre brauchen, um einen Beitrag zu leisten. 5-6 sicher.
John Doucette

1
@FauChristian Das ist alles wahr. Ich neige dazu zu denken, dass Sie, wenn Sie in den meisten modernen KI-Labors forschen möchten, immer noch Wahrscheinlichkeit benötigen (mindestens die Hälfte der modernen KI-Arbeit findet in maschinellem Lernen statt, und ein großer Teil davon ist in tiefem Lernen). . In der Regel forschen Doktoranden. Die meisten von ihnen forschen nach nur 1-2 Jahren Graduiertenschule. Einiges davon ist sogar ganz gut. Diese Personen hatten höchstens 4-6 Jahre formale Ausbildung in diesem Fach. Mehr als das könnte Sie schneller oder tiefer machen, aber das Forschungspotential beginnt dort.
John Doucette

3

Für einfache Algorithmen wie Gradient Descent müssen Sie partielle Ableitungen gut verstehen. Vor allem, wenn Sie neuronale Netze implementieren möchten. Außerdem sind die meisten Algorithmen vektorisiert, um die Rechengeschwindigkeit zu verbessern. Daher müssen Sie mit der Matrixmathematik vertraut sein. Dies beinhaltet, dass Sie sehr schnell und bequem mit den Dimensionen von Matrizen, den Dimensionen von Produkten, der Multiplikation von Matrizen, der Transponierung usw. umgehen können. Sehr selten können Sie Matrixkalküle verwenden, um direkt zu optimalen Lösungen zu gelangen. Daher sollten einige Ergebnisse aus diesem Bereich ausreichen. Im weiteren Verlauf müssen Sie einige Funktionsanalysen verstehen. Dies ist erforderlich, um eine Vorstellung davon zu bekommen, was Aktivierungsfunktionen wie Sigmoid und Tanh, Log tun. Ein Verständnis von Wahrscheinlichkeit und Erwartungen ist ebenfalls sehr nützlich. Sie sollten auch mit orthogonalen Vektoren und inneren Produkten klar sein.

Abgesehen davon würde ich vorschlagen, dass Sie grundlegende Kalkül- und Matrixoperationen verstehen und versuchen, KI-Konzepte zu lernen. Wenn Sie etwas nicht herausfinden können, erforschen Sie die Mathematik.

Hinweis: Auch dies ist nur zum Starten.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.