Ist es nach der Trainingsphase besser, neuronale Netze auf einer GPU oder CPU auszuführen?

Mein Verständnis ist, dass GPUs effizienter für den Betrieb neuronaler Netze sind, aber kürzlich hat mir jemand vorgeschlagen, dass GPUs nur für die Trainingsphase benötigt werden. Einmal trainiert, ist es tatsächlich effizienter, sie auf CPUs auszuführen.

Ist das wahr?

Dies hängt von vielen Faktoren ab, wie z. B. der Architektur des neuronalen Netzwerks (CNNs sind in der Regel besser optimiert als RNN auf der GPU) sowie von der Anzahl der Testbeispiele, die Sie als Eingabe für das neuronale Netzwerk geben (GPUs können bei einer Charge von sogar noch schneller sein) Proben anstelle einer einzelnen Probe).

Als Beispiel sehen Sie hier einen Benchmark, der die CPU mit der GPU auf verschiedenen CNN-basierten Architekturen vergleicht . In diesem Fall ist der Vorwärtsdurchlauf auf einer CPU viel langsamer:

Zu Ihrer Information: Benchmarks basierend auf Bibliotheken für neuronale Netze, um die Leistung zwischen verschiedenen GPUs zu vergleichen