Gibt es neuronale Netze mit sehr wenigen Knoten, die nicht triviale Probleme anständig lösen?

Ich bin daran interessiert zu wissen, ob es ein neuronales Netzwerk gibt, das (mit einer Genauigkeit von> = 80%) ein nicht triviales Problem löst, das nur sehr wenige Knoten verwendet (wobei 20 Knoten keine feste Grenze darstellen). Ich möchte eine Intuition über die Größe neuronaler Netze entwickeln.

neural-networks

— Guillermo Mosse
quelle

Universeller Approximationssatz: Ein neuronales Netzwerk mit einer verborgenen Schicht kann jede "vernünftige" Funktion bei einer ausreichenden Anzahl von Knoten in der verborgenen Schicht approximieren.

— nbro

Ich denke, es wird nicht einfach sein, Ihre Frage zu beantworten. Was meinst du mit "nicht trivialem Problem"?

— nbro

Ich möchte nur wenige Knoten, auch in versteckten Ebenen.

— Guillermo Mosse

@nbro mein Sinn für "nicht trivial" ist in diesem Zusammenhang unlösbar oder ungelöst.

— DukeZhou

Auch wenn es unmöglich ist, diese Frage richtig zu beantworten, da nicht trivial nicht genau definiert ist (vielleicht wird der Autor diese Fragen später bearbeiten, um sie besser zu spezifizieren), nutze ich die Gelegenheit, um auf dieses Papier hinzuweisen, das für mich interessant erscheint

Kleinstes neuronales Netzwerk zum Erlernen der Ising-Kritikalität

Angenommen, Sie haben eine allgemeine Vorstellung vom Ising-Modell. Ich denke, das Problem der Identifizierung der kritischen Temperatur aus einer datengesteuerten Perspektive kann als nicht trivial angesehen werden. Das Papier zeigt, wie die Autoren die Leistung im Zusammenhang mit der Lösung dieser Aufgabe verbessert haben, wenn NN abläuft 100 versteckte Neuronen, wie in diesem Artikel beschrieben. Maschinelles Lernen von Materiephasen von 2017 bis zu nur 2 versteckten Neuronen

Nur meine Cent:

Das Reduzieren der Neuronen bei guter Leistung sollte im Hinblick auf die Interpretierbarkeit der neuronalen Verarbeitung helfen, die notorisch unklar ist und deren Komplexität (exponentiell) mit der Anzahl der Neuronen zunimmt

— Nicola Bernini
quelle

Ich wollte nur Beispiele, die die Community selbst interessant fand. Ich denke, es ist eigentlich nicht trivial, Nicht-Trivialität zu definieren. Recht?

— Guillermo Mosse

@ GuillermoMosse Nein, es ist ziemlich trivial, nicht trivial zu definieren. Die Definition ist mehr oder weniger willkürlich, je nachdem, was am besten zur Situation passt. Ich bin sicher, ein sehr einfacher NN könnte lernen zu erkennen, ob eine bestimmte Zahl eine nicht triviale Quadratwurzel ist oder nicht ...

— Wald