Kann maschinelles Lernen eine Funktion wie das Finden des Maximums aus einer Liste lernen?

Ich habe eine Eingabe, die eine Liste ist, und die Ausgabe ist das Maximum der Elemente der Eingabeliste.

Kann maschinelles Lernen eine solche Funktion lernen, die immer das Maximum der in der Eingabe vorhandenen Eingabeelemente auswählt?

Dies mag als eine ziemlich grundlegende Frage erscheinen, aber es könnte mir ein Verständnis dafür geben, was maschinelles Lernen im Allgemeinen bewirken kann. Vielen Dank!

Vielleicht , aber beachten Sie, dass dies einer der Fälle ist, in denen maschinelles Lernen nicht die Antwort ist . Es besteht die Tendenz, maschinelles Lernen in Fällen zu versuchen, in denen regelbasierte Standardlösungen tatsächlich schneller, einfacher und im Allgemeinen genau die richtige Wahl sind: P

Nur weil Sie können, heißt das nicht, dass Sie sollten

Bearbeiten : Ich schrieb ursprünglich als "Ja, aber beachten Sie, dass ...", aber dann fing an, mich selbst zu bezweifeln, da ich es noch nie gesehen hatte. Ich habe es heute Nachmittag ausprobiert und es ist auf jeden Fall machbar:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Die Ausgabe ist 0.74576, sodass die maximalen 74,5% der Zeit korrekt ermittelt werden. Ich habe keinen Zweifel, dass dies verbessert werden könnte, aber da ich sage, dass dies kein nützlicher Fall ist, würde ich ML empfehlen.

EDIT 2 : Eigentlich habe ich heute Morgen mit dem RandomForestClassifier von sklearn erneut gestartet und es lief deutlich besser:

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Und hier sind es 94,4% der Proben, bei denen das Maximum korrekt identifiziert wurde, was in der Tat ziemlich gut ist.

Ja. Ganz wichtig ist, dass SIE sich für die Architektur einer Lösung für maschinelles Lernen entscheiden. Architekturen und Trainingsverfahren schreiben sich nicht von selbst; Sie müssen entworfen oder als Vorlage verwendet werden, und die Schulung dient dazu, eine Parametrisierung der Architektur zu ermitteln, die für eine Reihe von Datenpunkten geeignet ist.

Sie können eine sehr einfache Architektur erstellen, die tatsächlich eine maximale Funktion enthält:

net(x) = a * max(x) + b * min(x)

Dabei sind a und b gelernte Parameter.

Bei genügend Trainingsbeispielen und einer angemessenen Trainingsroutine lernt diese sehr einfache Architektur sehr schnell, a auf 1 und b auf Null für Ihre Aufgabe zu setzen.

Maschinelles Lernen besteht häufig darin, mehrere Hypothesen über die Funktion und Transformation von Eingabedatenpunkten zu unterhalten und zu lernen, nur die Hypothesen beizubehalten, die mit der Zielvariablen korrelieren. Die Hypothesen sind explizit in der Architektur und den Unterfunktionen codiert, die in einem parametrisierten Algorithmus verfügbar sind, oder als die Annahmen, die in einem "parameterlosen" Algorithmus codiert sind.

Beispielsweise ist die Wahl der Verwendung von Punktprodukten und Nichtlinearitäten, wie sie in dem Vanille-Neuronalnetzwerk ML üblich sind, etwas willkürlich; es drückt die umfassende Hypothese aus, dass eine Funktion unter Verwendung einer vorbestimmten zusammengesetzten Netzwerkstruktur aus linearen Transformationen und Schwellenfunktionen konstruiert werden kann. Verschiedene Parametrisierungen dieses Netzwerks verkörpern verschiedene Hypothesen darüber, welche linearen Transformationen verwendet werden sollen. Jede Toolbox von Funktionen kann verwendet werden, und es ist die Aufgabe eines Maschinenschülers, durch Differenzierung oder Ausprobieren oder ein anderes wiederholbares Signal herauszufinden, welche Funktionen oder Merkmale in seinem Array eine Fehlermetrik am besten minimieren. In dem oben gegebenen Beispiel reduziert sich das gelernte Netzwerk einfach auf die maximale Funktion selbst, wohingegen ein undifferenziertes Netzwerk alternativ eine minimale Funktion "lernen" könnte. Diese Funktionen können auf andere Weise ausgedrückt oder angenähert werden, wie in der linearen oder neuronalen Netzregressionsfunktion in einer anderen Antwort. In der Summe kommt es wirklich darauf an, welche Funktionen oder LEGO-Teile Sie in Ihrer ML-Architektur-Toolbox haben.

Ja - Maschinelles Lernen kann lernen, das Maximum in einer Liste von Zahlen zu finden.

Hier ist ein einfaches Beispiel für das Lernen, den Index des Maximums zu finden:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

Lernalgorithmen

Anstatt eine Funktion als Berechnung zu lernen, die von einem vorwärtsgerichteten neuronalen Netz durchgeführt wird, gibt es eine ganze Forschungsdomäne in Bezug auf Lernalgorithmen aus Probendaten. Beispielsweise könnte man so etwas wie eine neuronale Turing-Maschine oder eine andere Methode verwenden, bei der die Ausführung eines Algorithmus durch maschinelles Lernen an seinen Entscheidungspunkten gesteuert wird. Spielzeugalgorithmen wie das Finden eines Maximums oder das Sortieren einer Liste oder das Umkehren einer Liste oder das Filtern einer Liste werden häufig als Beispiele in der Algorithmuslernforschung verwendet.

Ich werde gebildete Designs von meiner Antwort ausschließen. Nein, es ist nicht möglich , einen Out-of-the-Box-Ansatz für maschinelles Lernen (ML) zu verwenden, um die maximale Funktion für beliebige Listen mit beliebiger Genauigkeit vollständig darzustellen . ML ist eine datenbasierte Methode, und es ist klar, dass Sie eine Funktion in Regionen, in denen Sie keine Datenpunkte haben, nicht approximieren können. Daher kann der Raum möglicher Beobachtungen (der unendlich ist) nicht durch endliche Beobachtungen abgedeckt werden.

Meine Aussagen basieren theoretisch auf Cybekos Universal Approximation Theorem für neuronale Netze. Ich zitiere den Satz aus Wikipedia:

$\mathbb{R}^n$

$\mathbb{R}^n$$x\in \mathbb{R}$

Wenn Ihr Beobachtungsraum kompakt ist, können Sie möglicherweise die maximale Funktion mit einem endlichen Datensatz approximieren. Wie die Antwort mit den meisten Stimmen deutlich machte, sollten Sie das Rad nicht neu erfinden!

Hier ist eine Erweiterung meines Kommentars. Zum Vorwort: @DanScally hat absolut Recht, dass es keinen Grund gibt, ML zu verwenden, um maximal eine Liste zu finden. Aber ich denke, dass Ihr "es mir ein Verständnis dafür geben könnte, was maschinelles Lernen im Allgemeinen bewirken kann" Grund genug ist, sich damit auseinanderzusetzen.

$\max$$\max$

$\max$$\max$$\max$

$n$ $n$

$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$in der sortierten Liste. Um den Argmax-Wert zu vervollständigen, müssen Sie nur diesen Layer als Schwellenwert festlegen. Wenn wir zu diesem Zeitpunkt multiplizieren könnten, würden wir ziemlich leicht den tatsächlichen Maximalwert erhalten. Die Lösung in diesem Artikel besteht darin, die binäre Darstellung der Zahlen zu verwenden. An diesem Punkt entspricht die binäre Multiplikation der Schwellenaddition. Um nur den Argmax zu erhalten, genügt eine einfache lineare Funktion, bei der der te Indikator mit multipliziert und summiert wird.ii
$i$$i$

Zum Schluss für die folgende Frage: Können wir einen NN in diesen Zustand schulen? Mit @DanScally haben wir angefangen. Vielleicht hilft uns die Kenntnis der theoretischen Architektur, die Lösung zu finden? (Beachten Sie, dass das Netz auch außerhalb des Bereichs der Trainingsmuster eine gute Leistung erbringt, wenn wir den oben angegebenen Satz von Gewichten kennen / schätzen können.)

Notizbuch in Github / Colab

Wenn ich etwas ändere, bekomme ich eine bessere Testnote (0,838), und selbst wenn ich eine Probe außerhalb des ursprünglichen Trainingsbereichs teste, bekomme ich eine anständige Note (0,698). Verwenden von Eingängen, die auf skaliert sind$[-1,1]$Erhöht die Testnote auf 0,961, mit einer Out-of-Range-Note von 0,758. Aber ich bewerte mit der gleichen Methode wie @DanScally, was ein wenig unehrlich erscheint: Die Identitätsfunktion wird bei dieser Metrik perfekt abschneiden. Ich habe auch ein paar Koeffizienten ausgedruckt, um zu sehen, ob etwas in der Nähe der oben beschriebenen exakten Anpassung erscheint (nicht wirklich); und ein paar rohe Ausgaben, die darauf hindeuten, dass das Modell ein Maximum zu ängstlich vorhersagt, und auf der Seite der Vorhersage, dass keine der Eingaben das Maximum ist, irren. Vielleicht könnte es helfen, das Ziel zu ändern, aber an diesem Punkt habe ich bereits zu viel Zeit investiert. Wenn jemand die Herangehensweise verbessern möchte, kann er gerne mitspielen (in Colab, wenn er möchte) und mich informieren.

Ja, selbst so einfaches maschinelles Lernen wie gewöhnliche lineare kleinste Quadrate kann dies mit etwas angewandter Klugheit tun.

(Aber die meisten würden diesen schrecklichen Overkill für möglich halten).

(Ich gehe davon aus, dass wir maximal abs des Eingabevektors finden wollen):

1. Wählen Sie eine monoton abnehmende Funktion des Absolutwerts, zum Beispiel $$f(x) = \frac{1}{x^2}$$
2. Bilde eine diagonale Matrix von . Nennen wir es$f({\bf r})$$\bf C_r$
3. Build Vektor volle Einsen .$\bf S$
4. Bilde und löse das Gleichungssystem$(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. Nennen wir den Ergebnisvektor , es ist ein Wahrscheinlichkeitsmaß (Summe zu 1), wir können es nichtlinear nachwägen, zum Beispiel$\bf p$ $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. Berechnen Sie einfach das Skalarprodukt mit dem Indexvektor und der Rundung.