Aufbau einer problemspezifischen Verlustfunktion

Problembeschreibung

Ich beginne mit dem Aufbau eines Netzwerks für ein Problem, von dem ich glaube, dass es eine weitaus aufschlussreichere Verlustfunktion haben könnte als eine einfache MSE-Regression.

Mein Problem betrifft die Klassifizierung in mehrere Kategorien ( siehe meine Frage zu SO, was ich damit meine), bei der es einen definierten Abstand oder eine definierte Beziehung zwischen Kategorien gibt, die berücksichtigt werden sollte.

Ein weiterer Punkt ist, dass der Fehler nicht durch die Anzahl der vorhandenen Zündkategorien verursacht werden sollte. Dh der Fehler für 5 Zündkategorien, die jeweils um 0,1 abweichen, sollte der gleiche sein wie 1 Zündkategorie, die um 0,1 abweicht. (Mit Schießen meine ich, dass sie nicht Null sind oder über einem bestimmten Schwellenwert liegen)

Wichtige Punkte

Klassifizierung in mehrere Kategorien (Mehrfachfeuerung gleichzeitig)
Beziehungen zwischen Kategorien
Die Anzahl der Schusskategorien sollte keinen Verlust bewirken:

Mein Versuch

Der mittlere quadratische Fehler scheint ein guter Anfang zu sein:

Hierbei wird lediglich Kategorie für Kategorie berücksichtigt, was für mein Problem immer noch wertvoll ist, aber einen großen Teil des Bildes übersieht.

Hier ist mein Versuch, die Idee der Entfernung zwischen Kategorien zu korrigieren. Als nächstes möchte ich die Anzahl der Kategorien berücksichtigen, die ausgelöst werden ( nenne es: v )

Meine Frage

Ich habe einen sehr schwachen statistischen Hintergrund. Infolgedessen habe ich nicht viele Werkzeuge in meinem Gürtel, um ein solches Problem anzusprechen. Das Hauptthema meiner Frage scheint zu sein: "Wie kann man bei der Bildung einer Kostenfunktion mehrere Kostenmaße kombinieren? Oder welche Techniken kann man anwenden, um dies zu tun?" . Ich würde es auch begrüßen, wenn Fehler in meinem Denkprozess aufgedeckt und verbessert würden.

Ich schätze es, gelehrt zu werden, warum meine Fehler Fehler sind, anstatt dass jemand sie nur ohne Erklärung korrigiert.

Wenn ein Teil dieser Frage nicht klar genug ist oder verbessert werden könnte, lassen Sie es mich bitte wissen.

neural-networks loss-functions

— Aidan Gomez
quelle

Aidan, es ist gut zu sehen, dass so viel darüber nachgedacht wird, eine problemspezifische Verlustfunktion aufzubauen. Ich würde dies eher als mathematisches Problem als als statistisches Problem betrachten. Sie suchen nach einer Verlustfunktion, die 2x5-Matrizen zu den reellen Zahlen nimmt, und Sie haben einige starke Vorstellungen über bestimmte Invarianten, die diese Funktion erfüllen sollte, wodurch die funktionale Form eingeschränkt wird. Wenn Sie die Bedeutung Ihrer Matrizen erläutern würden, könnte ich Ihnen wahrscheinlich eine spezifischere Anleitung zum Aufbau Ihrer Verlustfunktion geben.

— David C. Norris

Sie können den Scharnierverlust verwenden, der eine Obergrenze für den Klassifizierungsverlust darstellt. Das heißt, das Modell wird bestraft, wenn sich das Etikett der Kategorie mit der höchsten Punktzahl vom Etikett der Grundwahrheitsklasse unterscheidet.

Weitere Informationen zum Zusammenhang zwischen Klassifizierungsverlust und Scharnierverlust finden Sie in Abschnitt 2 dieses großartigen Artikels von CNJ Yu und T. Joachims.

$\Delta \left( y_i, \hat{y}(x_i) \right)$ $\hat{y}(x_i)$ $x_i$ $y_i$ $\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$ $\Delta$ $y$ $\hat{y}$ $\Delta$ $K \times K$ $K$ $\Delta(a, b)$ $a$ $b$

Zum Beispiel: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\$

— Sobi
quelle

Vielen Dank für die Antwort. Ich habe Ihrer Frage ein Beispiel hinzugefügt (befindet sich möglicherweise noch in der Peer-Review, wenn Sie diesen Kommentar sehen). Können Sie bestätigen, dass meine Interpretation korrekt ist?

— Aidan Gomez

Ich sehe, dies ist bei einem Problem im Klassifizierungsstil wertvoll, aber bei mir handelt es sich um eine Regression (mit mehrdimensionalen Beschriftungen), bei der mehrere Kategorien gleichzeitig aktiviert sein können. Dies scheint einem Argmax ähnlich zu sein; Für jede Eingabe wird nur die größte Ausgabekategorie berücksichtigt. In meinem Problem könnte man eine Bezeichnung wie {1,0,1,1} haben, wobei die Kategorien 0, 2, 3 alle in den Daten vorhanden sind, die Kategorie 1 jedoch nicht. Wenn mein Netzwerk {0,8, 0, 0,6, 0,3} erraten hat, sollte mein Verlust nicht mit einer Schätzung wie {0,8, 0, 0,7, 0,7} identisch sein.

— Aidan Gomez

Y

$\mathcal{Y}$

K

$K$

Y = {0, 1}^{K}

$\mathcal{Y} = \{0, 1\}^K$

Δ

$\Delta$

2^{K} \times 2^{K}

$2^K \times 2^K$

Das klingt nach dem richtigen Pfad. Können Sie ein einfaches Beispiel liefern, wie wir es für den eindimensionalen Etikettenfall getan haben? Vielleicht für K = 2 oder 3

— Aidan Gomez

x

$x$

y = (0, 1, 1)

$y=(0, 1, 1)$

\hat{y} (x) = (0.1, 0.9, 0.8)

$\hat{y}(x)=(0.1, 0.9, 0.8)$

Δ : {0, 1}^{3} \times [0, 1]^{3} \to R

$\Delta: \{0, 1\}^3 \times [0, 1]^3 \rightarrow \mathbb{R}$

Δ (y, \hat{y}) = {max}_{k = 1}^{K} | y [k] - \hat{y} [k] |

$\Delta(y, \hat{y}) = \max_{k=1}^K |y[k] - \hat{y}[k]|$