Was bedeutet es, Parameter zwischen Features und Klassen zu teilen?

In diesem Artikel steht die Zeile "Lineare Klassifikatoren teilen keine Parameter zwischen Features und Klassen." Was bedeutet diese Aussage? Bedeutet dies, dass lineare Klassifikatoren wie die logistische Regression voneinander unabhängige Funktionen benötigen?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
quelle

Ich werde versuchen, diese Frage durch logistische Regression zu beantworten , einen der einfachsten linearen Klassifikatoren.

Der einfachste Fall einer logistischen Regression besteht darin, dass wir eine binäre Klassifizierungsaufgabe ( und nur ein Eingabemerkmal ( ) haben. In diesem Fall wäre die Ausgabe der logistischen Regression: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ wobei und beide Skalare sind . Die Ausgabe des Modells entspricht der Wahrscheinlichkeit, dass der Klasse .

w

$w$

b

$b$

\hat{y} \in [0, 1]

$\hat y \in [0,1]$

x

$x$

1

$1$

Wir werden versuchen, den Ausdruck "Lineare Klassifizierer teilen keine Parameter zwischen Features und Klassen" in zwei Teile aufzuteilen. Wir werden die Fälle mehrerer Features und mehrerer Klassen separat untersuchen, um festzustellen, ob die logistische Regression Parameter für diese Aufgaben gemeinsam hat:

Teilen sich lineare Klassifikatoren Parameter zwischen Features?

In diesem Fall ist für jedes Beispiel ein Skalar, der (wie zuvor) Binärwerte annimmt, während ein Vektor der Länge (wobei die Anzahl der Merkmale ist). Hier ist die Ausgabe eine lineare Kombination der Eingabemerkmale (dh eine gewichtete Summe dieser Merkmale plus der Verzerrungen). $y$ $x$ $N$ $N$

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ wobei und Vektoren der Länge . Das Produkt erzeugt einen Skalar. Wie Sie oben sehen können, gibt es für jedes Eingabemerkmal ein separates Gewicht und diese Gewichte sind auf alle unabhängig . Daraus können wir schließen, dass es keine gemeinsame Nutzung von Parametern zwischen den Features gibt .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Teilen lineare Klassifikatoren Parameter zwischen Klassen?

In diesem Fall ist ein Skalar, jedoch ist ein Vektor der Länge (wobei die Anzahl der Klassen ist). Um dies in Angriff zu nehmen, erzeugt die logistische Regression im Wesentlichen eine separate Ausgabe für jede der Klassen. Jeder Ausgang ist ein Skalar und entspricht der Wahrscheinlichkeit, dass zur Klasse . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Dies lässt sich am einfachsten als einfache unabhängige logistische Regressionen mit einer Ausgabe von jeweils: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Aus dem Obigen ist ersichtlich, dass keine Gewichte zwischen den verschiedenen Klassen geteilt werden .

Multi-Feature und Multi-Class :

Durch die Kombination der beiden oben genannten Fälle können wir endlich den allgemeinsten Fall mehrerer Features und mehrerer Klassen erreichen:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ wobei ein Vektor mit einer Größe von , ein Vektor mit einer Größe von , ist ein Vektor mit einer Größe von und ist eine Matrix mit einer Größe von .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

In jedem Fall teilen lineare Klassifizierer keine Parameter zwischen Features oder Klassen .

Zur Beantwortung Ihrer zweiten Frage gehen lineare Klassifikatoren von der Annahme aus, dass Features unabhängig sein müssen. Dies ist jedoch nicht die Absicht des Autors des Artikels.

— Djib2011
quelle

Gute Erklärung. :)

— joydeep bhattacharjee