Verwendung nicht rechteckiger Kernel in Faltungs-Neuronalen Netzen? Besonders bei der Analyse von Spielbrettern

7

Ich habe einen Stapel von Artikeln über Faltungsnetzwerke und das Lernen der Verstärkung gelesen.

Ich erinnere mich an ein wichtiges Papier mit einer nicht rechteckigen Form der Faltungsschicht (die grüne Form in dieser albernen Zeichnung). Aber jetzt kann ich es nicht finden.

Es könnte etwas Ähnliches wie das AlphaGo-Papier oder verstärktes Lernen auf einem Spielbrett gewesen sein.

Kann jemand vorschlagen oder erraten, um welches Papier es sich handelt?

references conv-neural-network reinforcement-learning

— par postdoc
quelle

Bitte erklären Sie CNN. Schließlich verwendet Cable News Network auch dieses Akronym.

— Carl

@ Carl Convolutional Neural Networks!

— Par Postdoc

Ich bin mit ConvNets nicht sehr vertraut, aber die ganze Idee ist, dass sie die geeigneten Filter lernen , um sie zu verwenden. Wenn es also angebracht ist, Nullen in den Ecken (oder wo auch immer) zu haben, sollte das ConvNet dies lernen können. Jedes nicht rechteckige Filter A entspricht einem rechteckigen Filter B über dem Begrenzungsrahmen von A, kombiniert mit einer Maske (dh wobei B = 0 ist). Wenn der Filter A nicht sehr "verschlungen" ist, wären die Einsparungen bei der Berechnung ziemlich vernachlässigbar.

— GeoMatt22

2

Dies scheint in früheren Herbrich-Zeitungen über Go aufzutauchen.

"Lernen auf Graphen im Game of Go" - wo er das Board als eine andere Topologie betrachtet
Und diese Folie in einer Präsentation von 2015, in der er 13 verschiedene "Muster" erwähnt (was etwas anders ist als der AlphaGo-Ansatz)

Verweise

T. Graepel, M. Goutrie, M. Krüger & R. Herbrich (2001, August). "Lernen auf Grafiken im Go-Spiel." In der Internationalen Konferenz über künstliche neuronale Netze (S. 347-352). Springer Berlin Heidelberg.
Herbrich, R. (2015) "Maschinelles Lernen in der Industrie". Abgerufen von http://mlss.tuebingen.mpg.de/2015/slides/herbrich/herbrich.pdf

— YAZR
quelle

Willkommen auf unserer Webseite! Ich habe ein vollständiges Zitat für das Papier hinzugefügt. Können Sie auch einen Link / Verweis auf die Präsentation hinzufügen?

— Silverfish

@silverfish Danke für das Zitat. Maschinelles Lernen in der Industrie. mlss.tuebingen.mpg.de/2015/slides/herbrich/herbrich.pdf

— YAZR

Vielen Dank. Ich habe das Gefühl, dass Sie möglicherweise noch nicht genug Ruf haben, um mehr als eine bestimmte Anzahl von Links hinzuzufügen (ich kann mich nicht erinnern, was der Cut-Off ist), also habe ich das auch bearbeitet

— Silverfish

3

{1} verglich quadratische mit dreieckigen 2D-Windungen

Wie Geomatt22 erwähnt, könnte man in dem Beispiel, das Sie der Frage gestellt haben, einen quadratischen Filter verwenden und hoffen, dass die "tatsächliche" Form des Filters während der Trainingsphase gelernt wird.

{1} Graham, Ben. "Sparse 3D-Faltungs-Neuronale Netze." arXiv-Vorabdruck arXiv: 1505.02890 (2015). https://scholar.google.com/scholar?cluster=10336237130292873407&hl=de&as_sdt=0,22 ; https://arxiv.org/abs/1505.02890

— Franck Dernoncourt
quelle

Ich würde denken, rechteckig gegen quadratisch wäre bedeutender als rechteckig gegen nicht rechteckig. Mit anderen Worten, wenn Muster stark anisotrop sind, können dünne Rechtecke viel effizienter sein als Quadrate, die meistens "ausgeblendet" sind. Im Vergleich dazu ist es unwahrscheinlich, dass der Grad der Nichtkonvexität, der erforderlich ist, damit das Volumen eines Musters viel geringer ist als sein Begrenzungsrahmen, in der Praxis auftritt (ein solches Muster wäre wahrscheinlich ein zusammengesetztes Merkmal im Vergleich zu einer geeigneten Vorlage für Filter mit niedrigem Pegel). . Tritt eine solche Anisotropie in ConvNet-Anwendungen auf? (In der Geologie wäre dies z klein gegen x & y)

— GeoMatt22