Wie bekomme ich Vorhersagen mit predict_generator zum Streaming von Testdaten in Keras?

Im Keras-Blog zum Training von Convnets von Grund auf wird im Code nur das Netzwerk angezeigt , das mit Trainings- und Validierungsdaten ausgeführt wird. Was ist mit Testdaten? Entsprechen die Validierungsdaten den Testdaten (glaube ich nicht)? Wenn ein separater Testordner in ähnlichen Zeilen wie der Zug- und der Validierungsordner vorhanden ist, wie erhalten wir eine Verwirrungsmatrix für die Testdaten? Ich weiß, dass wir dazu Scikit Learn oder ein anderes Paket verwenden müssen, aber wie erhalte ich etwas in der Art klassenmäßiger Wahrscheinlichkeiten für Testdaten? Ich hoffe, dies für die Verwirrungsmatrix zu nutzen.

Um eine Verwirrungsmatrix aus den Testdaten zu erhalten, müssen Sie zwei Schritte ausführen:

1. Machen Sie Vorhersagen für die Testdaten

Verwenden Sie beispielsweise, model.predict_generatorum die ersten 2000 Wahrscheinlichkeiten vom Testgenerator vorherzusagen.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Berechnen Sie die Verwirrungsmatrix basierend auf den Etikettenvorhersagen

Vergleichen Sie beispielsweise die Wahrscheinlichkeiten mit dem Fall, dass 1000 Katzen bzw. 1000 Hunde vorhanden sind.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Zusätzlicher Hinweis zu Test- und Validierungsdaten

Die Keras-Dokumentation verwendet drei verschiedene Datensätze: Trainingsdaten, Validierungsdaten und Testdaten. Trainingsdaten werden verwendet, um die Modellparameter zu optimieren. Die Validierungsdaten werden verwendet, um eine Auswahl über die Metaparameter zu treffen, z. B. die Anzahl der Epochen. Nach der Optimierung eines Modells mit optimalen Metaparametern werden die Testdaten verwendet, um eine faire Schätzung der Modellleistung zu erhalten.

Hier ist ein Code, den ich ausprobiert und für mich gearbeitet habe:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Sie können dann verwenden:

print (confusion matrix(predicted_class_indices,labels)

Stellen Sie sicher, dass Sie shuffle=FalseIhren Testgenerator verwenden (in meinem Fall den Validierungsgenerator), und setzen Sie ihn mit zurück, validation_generator.reset()bevor Sie Ihre Vorhersagen treffen.

Für die Verwirrungsmatrix müssen Sie das sklearn-Paket verwenden. Ich glaube nicht, dass Keras eine Verwirrungsmatrix liefern kann. Rufen Sie zum Vorhersagen von Werten für den Testsatz einfach die model.predict () - Methode auf, um Vorhersagen für den Testsatz zu generieren. Die Art der Ausgabewerte hängt von Ihrem Modelltyp ab, dh entweder von diskreten oder von Wahrscheinlichkeiten.