Erhöhen oder verringern mehr Objektklassen die Genauigkeit der Objekterkennung?

Angenommen, Sie haben einen Objekterkennungsdatensatz (z. B. MS COCO oder Pascal VOC) mit N Bildern, in denen k Objektklassen gekennzeichnet sind. Sie trainieren ein neuronales Netzwerk (z. B. Faster-RCNN oder YOLO) und messen die Genauigkeit (z. B. IOU@0.5).

Jetzt führen Sie x zusätzliche Objektklassen ein und fügen Ihrem ursprünglichen Datensatz die entsprechenden Beschriftungen hinzu. Dadurch erhalten Sie einen Datensatz mit N Bildern, in denen k + x Objektklassen beschrieben wurden.

Wird die Genauigkeit des trainierten Netzwerks zunehmen oder abnehmen?

Genauer gesagt haben wir einen Verkehrszeichendatensatz mit ungefähr 20 Objektklassen. Jetzt denken wir darüber nach, zusätzliche Verkehrszeichenklassen hinzuzufügen (Beschriften der neuen Klassen, ohne neue Bilder hinzuzufügen oder unsere Netzwerkarchitektur zu ändern), und wir fragen uns, ob dies die Leistung verringern oder verringern wird.

Einerseits denke ich, dass mehr Objektklassen die Unterscheidung zwischen Klassen erschweren werden. Darüber hinaus kann ein neuronales Netzwerk nur eine begrenzte Menge an Informationen enthalten. Wenn also die Anzahl der Klassen sehr groß wird, sind möglicherweise nicht genügend Gewichte vorhanden, um alle Klassen zu bewältigen.

Auf der anderen Seite bedeuten mehr Objektklassen mehr Beschriftungen, die dem neuronalen Netzwerk helfen können. Darüber hinaus kann die Übertragung von Lerneffekten zwischen Klassen die Genauigkeit des Netzwerks erhöhen.

Meiner Meinung nach sollte es für jede Netzwerkarchitektur eine Art Sweet-Spot geben, aber ich konnte keine Literatur, Forschung oder Experimente zu diesem Thema finden.

Das spezifische Klassifizierungsverhalten hängt von der bestimmten Modellform ab, die einer Klassifizierungsmethode zugrunde liegt. Die genaue Reaktion eines Modells auf zusätzliche Objektklassen kann in bestimmten Fällen mathematisch abgeleitet werden, obwohl dies kompliziert sein kann. Da Sie keine Details zu einer bestimmten Methode angegeben haben, gehe ich davon aus, dass Sie mehr an der allgemeinen Reaktion von Klassifizierungsmodellen auf das Hinzufügen oder Entfernen von Objektklassen interessiert sind . Um dies zu beantworten, werde ich intuitiv erklären, was Sie in einem rationalen Modell dieser Art von Situation erwarten sollten. In dem Maße, in dem das Modell unter allgemeinen Bedingungen von diesem intuitiven Ergebnis abweicht, betrachte ich dies als Mangel. Daher betrachte ich die folgenden Antworten als Desiderat für ein Objektvorhersagesystem.

---

Vorhersage in einem Modell mit beliebigen Objektklassen: Um die Analyse dieses Problems zu erleichtern, nehmen wir an, Sie haben Bilder von Straßenschildern (oder irgendetwas anderem), die jeweils als einzelne von Typen vorliegen. Lassen Sie ohne Verlust der Allgemeinheit die wahren Typen der Objekte sein, die Sie klassifizieren möchten , wobei die wahren Objekttypen sind. Angenommen, Sie legen ein Erkennungssystem fest, das jedes Bild in Typen in der endlichen Menge , wobei wir feststellen, dass Beschriftungen enthalten kann, die sich in$N$$m$$\theta_1, ..., \theta_N \in \mathscr{M} \equiv \{ 1, 2, ..., m \}$$\mathscr{M}$$\mathscr{S} \subset \mathbb{N}$$\mathscr{S}$$\mathscr{M}$Es kann jedoch auch Werte enthalten, die nicht in diesem Satz enthalten sind (dh, Ihr Erkennungssystem versucht möglicherweise, Objekttypen zu finden, die nicht vorhanden sind).

Ein Erkennungssystem dieser Art betrachtet Bilddaten von jedem der Bilder und verwendet diese Daten, um jedes Bild basierend auf den zulässigen Typen im Modell in einen geschätzten Typ zu klassifizieren. Im Allgemeinen kann dies durch die folgenden Komponenten beschrieben werden:

$$\begin{matrix} \text{Data} & & & & & \text{Model Types} & & & & & \text{Estimates} \\ x_1, ..., x_N & & & & & \mathscr{S} & & & & & \hat{\theta}_1, ..., \hat{\theta}_N \in \mathscr{S} \end{matrix}$$

Die Wahrscheinlichkeit einer korrekten Klassifizierung von Bild für ein Modell mit den Typen ist:$i$$\mathscr{S}$

$$p_i(\mathscr{S}) \equiv \mathbb{P}(\hat{\theta}_i = \theta_i | \mathbf{x}, \mathscr{S}) = \sum_{s \in \mathscr{M} \ \cap \ \mathscr{S}} \mathbb{P}(\hat{\theta}_i = s | \mathbf{x}, \mathscr{S}) \mathbb{I}(\theta_i = s ).$$

Die Elemente der letzteren Summierung unterliegen der Wahrscheinlichkeitsbeschränkung:

$$\sum_{s \in \mathscr{M} \ \cap \ \mathscr{S}} \mathbb{P}(\hat{\theta}_i = s | \mathbf{x}, \mathscr{S}) = 1.$$

Wenn nun dann ist , da der wahre Objekttyp nicht im Modell enthalten ist. Wenn also Elemente von nicht in , kann dies dazu führen, dass diese fehlenden Elementtypen nicht korrekt identifiziert werden können. Wenn wir dagegen ein Element aus der Menge , ist ceteris paribus$\theta_i \notin\mathscr{S}$$p_i(\mathscr{S}) = 0$$\mathscr{M}$$\mathscr{S}$$\mathscr{S}$Dies erhöht die Wahrscheinlichkeit der Vorhersage der verbleibenden Objekttypen, da die Wahrscheinlichkeiten der Vorhersagen eins ergeben müssen. Daher erhöht der Ausschluss eines Objekttyps tendenziell die Vorhersagewahrscheinlichkeiten für andere Objekttypen, wodurch sich die Wahrscheinlichkeit einer korrekten Vorhersage für echte Objekttypen in .$\mathscr{S}$

Eine detailliertere Analyse müsste die Verbindung zwischen den Daten und den Objektvorhersagen herstellen. Wir werden hier nicht näher auf dieses Thema eingehen, da das jeweilige Modell nicht spezifiziert ist. Allerdings können wir es als eine allgemeine Eigenschaft von Vorhersagemodellen nehmen , dass sie größere Schwierigkeiten zu haben , neigen dazu , Objekttypen differenzieren , die aussehen ähnlich und neigen dazu , weniger zu haben , schwer Objekttypen differenzieren , die aussehen unähnlich . Daher erhöht der Ausschluss eines Objekttyps aus der Menge tendenziell die Wahrscheinlichkeit der Vorhersage anderer Objekttypen in dieser Menge, die diesem ausgeschlossenen Objekt ähnlich sehen, in Fällen, in denen die Daten einem dieser Typen förderlich sind .$\mathbf{x}$$\mathscr{S}$

---

Die obige Darstellung soll einige allgemeine Hinweise geben, in denen die Wahrscheinlichkeitsbeschränkung bei Vorhersagen und die Art und Weise, wie sich dies auf die Wahrscheinlichkeit einer korrekten Vorhersage auswirkt, hervorgehoben werden. Dies führt zu den folgenden allgemeinen Prinzipien eines rational konstruierten Klassifikationsmodells. Ceteris paribus sollte Folgendes (zumindest ungefähr) gelten:

• Wenn ein echter Objekttyp aus dem Klassifizierungsmodell ausgeschlossen wird, verringert dies die Wahrscheinlichkeit einer korrekten Vorhersage dieses Objekttyps auf Null, erhöht jedoch tendenziell die Wahrscheinlichkeit einer korrekten Vorhersage für andere Objekttypen (insbesondere Objekttypen, die so aussehen ausgeschlossener Typ);

• Wenn dem Klassifizierungsmodell ein echter Objekttyp hinzugefügt wird, kann das Modell eine Wahrscheinlichkeit ungleich Null für eine korrekte Vorhersage dieses Objekttyps aufweisen, verringert jedoch tendenziell die Wahrscheinlichkeit einer korrekten Vorhersage für andere Objekttypen (insbesondere für Objekte) Typen, die wie der hinzugefügte Typ aussehen);

• Wenn ein falscher Objekttyp aus dem Klassifizierungsmodell ausgeschlossen wird, erhöht dies tendenziell die Wahrscheinlichkeit einer korrekten Vorhersage für alle echten Objekttypen (insbesondere Objekttypen, die wie dieser ausgeschlossene Typ aussehen). und

• Wenn dem Klassifizierungsmodell ein falscher Objekttyp hinzugefügt wird, verringert dies tendenziell die Wahrscheinlichkeit einer korrekten Vorhersage für alle echten Objekttypen (insbesondere Objekttypen, die dem hinzugefügten Typ ähneln).

Diese allgemeinen Prinzipien können in bestimmten Modellen einige pathologische Ausnahmen aufweisen, wenn zwischen Bildern eine komplexe Multikollinearität besteht. Sie sollten jedoch als allgemeine Regeln gelten, die in gut erzogenen Modellen unter allgemeinen Bedingungen auftreten werden.

Hier finden Sie eine detaillierte theoretische Analyse zu diesem Thema. https://arxiv.org/pdf/1506.01567.pdf .

Ich denke, das hängt vom spezifischen Problem und Modell ab. Die mathematischen Aussagen der obigen Antwort können nur über allgemeine statistische Modelle gesagt werden. In Bilddaten betrachten wir sehr hohe Dimensionen, und die Mathematik auf dieser Ebene (die extreme Nichtlinearität tiefer Modelle trägt ebenfalls dazu bei) wird sehr kompliziert sein. Was wir intuitiv denken können (unter Verwendung eines Diskriminanzfunktionsansatzes), ist, dass je besser die Klassen sind (vorausgesetzt, die Variation zwischen Klassen ist ausreichend), desto besser kann das Modell die Diskriminanzfunktion zwischen Klassen zeichnen. Wenn also die Diskriminanzfunktion detaillierter ist, ist die Verallgemeinerungsfähigkeit des Modells größer, wenn ein unsichtbares Bild / Beispiel vorhergesagt wird.

Stellen Sie sich das als Trennung zwischen Datenclustern in einer sehr hohen Dimension vor. Wenn Sie die Cluster genauer trennen können, ist es wahrscheinlicher, dass Sie ein eingehendes unsichtbares Beispiel / Bild klassifizieren.

Übrigens, informieren Sie uns über das Experiment und ob es zugenommen hat oder nicht. TIA.