5 Jahre später sind Maxout-Netzwerke tot und warum?

Maxout-Netzwerke waren eine einfache, aber brillante Idee von Goodfellow et al. von 2013 bis max Feature Maps, um einen universellen Approximator für konvexe Aktivierungen zu erhalten. Das Design wurde für die Verwendung in Verbindung mit Dropout (damals erst kürzlich eingeführt) zugeschnitten und führte natürlich zu hochmodernen Ergebnissen bei Benchmarks wie CIFAR-10 und SVHN.

Fünf Jahre später ist Dropout definitiv noch im Spiel, aber was ist mit Maxout? Das Papier wird laut Google Scholar in neueren Veröffentlichungen immer noch häufig zitiert, aber es scheint, dass kaum jemand die Technik tatsächlich verwendet.

Ist Maxout also Vergangenheit, und wenn ja, warum - was hat es 2013 zu einem Top-Performer gemacht, aber nicht 2018?

Wenn Sie das vollständige Papier (insbesondere das Abstract und den Abschnitt 7) lesen, stellen Sie im Grunde fest, dass die Hauptleistung ein geringfügiger Beitrag über dem Schulabbrecher bleibt.

Wenn Sie die empirischen Ergebnisse in Tabelle 5 (auf Seite 5) des Originalpapiers des Maxouts sehen , stellen Sie fest, dass die Fehlklassifizierungsrate nur sehr, sehr geringfügig niedriger ist als die von Aussetzern. (2,47% statt 2,78%)

Das könnte das relativ geringe Interesse an der Arbeit erklären.