Kann mir jemand helfen, diesen Absatz aus Nvidias progressivem Gan-Papier zu verstehen?

Darüber hinaus stellen wir fest, dass Moduskollaps, der traditionell GANs plagt, im Verlauf eines Dutzend Minibatches sehr schnell auftritt. Üblicherweise beginnen sie, wenn der Diskriminator überschießt, was zu übertriebenen Gradienten führt, und es folgt eine ungesunde Konkurrenz, bei der die Signalgrößen in beiden Netzwerken eskalieren. Wir schlagen einen Mechanismus vor, um zu verhindern, dass der Generator an einer solchen Eskalation teilnimmt, um das Problem zu lösen (Abschnitt 4.2).

Was bedeuten sie, wenn der Diskriminator überschießt? Der Diskriminator wird zu schnell gut? Und Signalgrößen eskalieren in beiden Netzwerken?

Meine derzeitige Intuition ist, dass der Diskriminator zu früh zu gut wird, was dazu führt, dass der Generator ansteigt und versucht, aufzuholen. Das wäre die ungesunde Konkurrenz, von der sie sprechen. Der Modellkollaps ist der Nebeneffekt, bei dem der Generator Probleme beim Aufholen hat und auf Nummer sicher geht, indem er leicht unterschiedliche Bilder erzeugt, um die Genauigkeit zu erhöhen. Ist diese Art der Interpretation des obigen Absatzes korrekt?

Ein Überschreiten des Diskriminators kann zu einem Datensatz führen, der nicht gründlich gereinigt wurde und wahrscheinlich zu viele identische Merkmale aufweist. Infolgedessen kommt es zu einer frühen Konvergenz des Diskriminators, da nur geringe Abweichungen auftreten. Der Nachteil dabei ist, dass das Modell nicht gut verallgemeinern kann.

Ja, deine Intuition ist richtig. Dieses Problem hat zur Folge, dass der Generator seine Leistung nicht mehr verbessern kann, um den Diskriminator geringfügig zu täuschen - der Diskriminator kauft keine der erzeugten Ausgaben. In diesem Fall bleibt der Generator in einem lokalen Minimum stecken und erzeugt normalerweise unsinnige Ergebnisse.

Ich denke, deine Intuition ist nicht ganz richtig. Zu Beginn des Trainings könnte der Diskriminator überschießen. Daher kann es zu einer Eskalation des Backpropagation-Signals kommen.