Wie kompiliere ich Tensorflow mit SSE4.2- und AVX-Anweisungen?

Dies ist die Nachricht, die beim Ausführen eines Skripts empfangen wird, um zu überprüfen, ob Tensorflow funktioniert:

I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcublas.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcudnn.so.5 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcufft.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcurand.so.8.0 locally
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:910] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero

Mir ist aufgefallen, dass SSE4.2 und AVX erwähnt wurden.

1. Was sind SSE4.2 und AVX?
2. Wie verbessern diese SSE4.2 und AVX die CPU-Berechnungen für Tensorflow-Aufgaben?
3. Wie kann Tensorflow mithilfe der beiden Bibliotheken kompiliert werden?

Ich bin gerade auf dasselbe Problem gestoßen. Es scheint, als würde Jaroslaw Bulatows Vorschlag die SSE4.2-Unterstützung nicht abdecken. Das Hinzufügen --copt=-msse4.2würde ausreichen. Am Ende habe ich erfolgreich mit gebaut

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

ohne Warnung oder Fehler zu bekommen.

Die wahrscheinlich beste Wahl für jedes System ist:

bazel build -c opt --copt=-march=native --copt=-mfpmath=both --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

( Update: Die Build-Skripte fressen-march=native möglicherweise, möglicherweise weil sie eine enthalten= .)

-mfpmath=bothfunktioniert nur mit gcc, nicht mit clang. -mfpmath=sseist wahrscheinlich genauso gut, wenn nicht sogar besser und ist die Standardeinstellung für x86-64. 32-Bit-Builds sind standardmäßig auf eingestellt. Wenn Sie -mfpmath=387dies ändern, ist dies für 32-Bit hilfreich. (Wenn Sie jedoch eine hohe Leistung für das Knacken von Zahlen wünschen, sollten Sie 64-Bit-Binärdateien erstellen.)

Ich bin mir nicht sicher, wofür TensorFlow standardmäßig ist -O2oder -O3ist. gcc -O3ermöglicht die vollständige Optimierung einschließlich der automatischen Vektorisierung, dies kann jedoch manchmal den Code verlangsamen.

Was dies bewirkt: --coptforbazel build übergibt eine Option direkt an gcc zum Kompilieren von C- und C ++ - Dateien (aber keine Verknüpfung, daher benötigen Sie eine andere Option für die dateiübergreifende Optimierung der Verbindungszeit)

x86-64 gcc verwendet standardmäßig nur SSE2- oder ältere SIMD-Anweisungen, sodass Sie die Binärdateien ausführen können jedem x86-64-System können. (Siehe https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html ). Das willst du nicht. Sie möchten eine Binärdatei erstellen, die alle Anweisungen Ihrer CPU nutzt, da Sie diese Binärdatei nur auf dem System ausführen, auf dem Sie sie erstellt haben.

-march=nativeAktiviert alle Optionen, die Ihre CPU unterstützt, und macht sie so -mavx512f -mavx2 -mavx -mfma -msse4.2überflüssig. (Ebenfalls,-mavx2 aktiviert -mavxund -msse4.2, so sollte Jaroslaw Befehl gut gewesen sein). Auch wenn Sie eine CPU verwenden, die eine dieser Optionen nicht unterstützt (wie FMA), wird durch die Verwendung -mfmaeine Binärdatei erstellt, die fehlerhafte Anweisungen enthält.

TensorFlow's ./configure standardmäßig aktiviert.-march=native dies verwenden, müssen Sie die Compileroptionen nicht manuell angeben.

-march=native ermöglicht -mtune=native , so dass es für Ihre CPU optimiert wird, z. B. welche Sequenz von AVX-Anweisungen für nicht ausgerichtete Lasten am besten geeignet ist.

Dies gilt alles für gcc, clang oder ICC. (Für ICC können Sie -xHOSTanstelle von verwenden -march=native.)

Beginnen wir mit der Erklärung, warum diese Warnungen überhaupt angezeigt werden .

Höchstwahrscheinlich haben Sie TF nicht von der Quelle installiert und stattdessen so etwas wie verwendet pip install tensorflow. Das bedeutet, dass Sie vorgefertigte (von einer anderen Person) Binärdateien installiert haben, die nicht für Ihre Architektur optimiert wurden. Und diese Warnungen sagen Ihnen genau Folgendes: In Ihrer Architektur ist etwas verfügbar, das jedoch nicht verwendet wird, da die Binärdatei nicht damit kompiliert wurde. Hier ist der Teil aus der Dokumentation .

TensorFlow prüft beim Start, ob es mit den auf der CPU verfügbaren Optimierungen kompiliert wurde. Wenn die Optimierungen nicht enthalten sind, gibt TensorFlow Warnungen aus, z. B. AVX-, AVX2- und FMA-Anweisungen, die nicht enthalten sind.

Gut ist, dass Sie höchstwahrscheinlich nur mit TF lernen / experimentieren möchten, damit alles richtig funktioniert und Sie sich darüber keine Sorgen machen sollten

Was sind SSE4.2 und AVX?

Wikipedia hat eine gute Erklärung zu SSE4.2 und AVX . Dieses Wissen muss nicht gut im maschinellen Lernen sein. Sie können sie als einen Satz zusätzlicher Anweisungen für einen Computer betrachten, um mehrere Datenpunkte gegen eine einzelne Anweisung zu verwenden, um Operationen auszuführen, die natürlich parallelisiert werden können (z. B. Hinzufügen von zwei Arrays).

Sowohl SSE als auch AVX implementieren eine abstrakte Idee von SIMD (Single Instruction, Multiple Data)

eine Klasse von Parallelcomputern in Flynns Taxonomie. Es werden Computer mit mehreren Verarbeitungselementen beschrieben, die denselben Vorgang an mehreren Datenpunkten gleichzeitig ausführen. Daher nutzen solche Maschinen Parallelität auf Datenebene, jedoch keine Parallelität: Es gibt simultane (parallele) Berechnungen, aber zu einem bestimmten Zeitpunkt nur einen einzigen Prozess (Befehl)

Dies reicht aus, um Ihre nächste Frage zu beantworten.

Wie verbessern diese SSE4.2 und AVX die CPU-Berechnungen für TF-Aufgaben?

Sie ermöglichen eine effizientere Berechnung verschiedener Vektoroperationen (Matrix / Tensor). Sie können mehr in diesen Folien lesen

Wie kann Tensorflow mithilfe der beiden Bibliotheken kompiliert werden?

Sie benötigen eine Binärdatei, die kompiliert wurde, um diese Anweisungen nutzen zu können. Am einfachsten ist es , es selbst zu kompilieren . Wie Mike und Jaroslaw vorgeschlagen haben, können Sie den folgenden Bazel-Befehl verwenden

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

Lassen Sie mich zuerst Ihre dritte Frage beantworten:

Wenn Sie eine selbst kompilierte Version in einer conda-env ausführen möchten, können Sie dies tun. Dies sind die allgemeinen Anweisungen, die ich ausführe, damit Tensorflow mit zusätzlichen Anweisungen auf meinem System installiert wird. Hinweis: Dieser Build war für einen AMD A10-7850-Build (überprüfen Sie Ihre CPU, welche Anweisungen unterstützt werden ... er kann abweichen) mit Ubuntu 16.04 LTS. Ich benutze Python 3.5 in meinem conda-env. Die Gutschrift erfolgt auf der Installationsseite der Tensorflow-Quelle und den oben angegebenen Antworten.

git clone https://github.com/tensorflow/tensorflow 
# Install Bazel
# https://bazel.build/versions/master/docs/install.html
sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel
# Create your virtual env with conda.
source activate YOUR_ENV
pip install six numpy wheel, packaging, appdir
# Follow the configure instructions at:
# https://www.tensorflow.org/install/install_sources
# Build your build like below. Note: Check what instructions your CPU 
# support. Also. If resources are limited consider adding the following 
# tag --local_resources 2048,.5,1.0 . This will limit how much ram many
# local resources are used but will increase time to compile.
bazel build -c opt --copt=-mavx --copt=-msse4.1 --copt=-msse4.2  -k //tensorflow/tools/pip_package:build_pip_package
# Create the wheel like so:
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
# Inside your conda env:
pip install /tmp/tensorflow_pkg/NAME_OF_WHEEL.whl
# Then install the rest of your stack
pip install keras jupyter etc. etc.

Zu Ihrer 2. Frage:

Eine selbst kompilierte Version mit Optimierungen ist meiner Meinung nach die Mühe wert. In meinem speziellen Setup dauern Berechnungen, die früher 560-600 Sekunden dauerten, jetzt nur noch etwa 300 Sekunden! Obwohl die genauen Zahlen variieren, können Sie meiner Meinung nach generell mit einer Geschwindigkeitssteigerung von 35-50% für Ihr spezielles Setup rechnen.

Zuletzt Ihre erste Frage:

Viele der Antworten wurden bereits oben gegeben. Zusammenfassend: AVX , SSE4.1, SSE4.2 , MFA sind verschiedene Arten von erweiterten Befehlssätzen auf X86-CPUs. Viele enthalten optimierte Anweisungen zum Verarbeiten von Matrix- oder Vektoroperationen.

Ich werde mein eigenes Missverständnis hervorheben, um Ihnen hoffentlich etwas Zeit zu sparen: Es ist nicht so, dass SSE4.2 eine neuere Version von Anweisungen ist, die SSE4.1 ersetzen. SSE4 = SSE4.1 (ein Satz von 47 Anweisungen) + SSE4.2 (ein Satz von 7 Anweisungen).

Wenn Ihr Computer im Rahmen der Tensorflow-Kompilierung AVX2 und AVX sowie SSE4.1 und SSE4.2 unterstützt, sollten Sie diese Optimierungsflags für alle einfügen. Tun Sie nicht so wie ich und gehen Sie einfach mit SSE4.2 und denken Sie, dass es neuer ist und SSE4.1 ersetzen sollte. Das ist eindeutig FALSCH! Ich musste neu kompilieren, weil es mich gut 40 Minuten gekostet hat.

Dies sind SIMD- Vektorverarbeitungsbefehlssätze .

Die Verwendung von Vektoranweisungen ist für viele Aufgaben schneller. maschinelles Lernen ist eine solche Aufgabe.

Zitieren der Tensorflow-Installationsdokumente :

Um mit möglichst vielen Computern kompatibel zu sein, verwendet TensorFlow standardmäßig nur SSE4.1-SIMD-Anweisungen auf x86-Computern. Die meisten modernen PCs und Macs unterstützen erweiterte Anweisungen. Wenn Sie also eine Binärdatei erstellen, die nur auf Ihrem eigenen Computer ausgeführt wird, können Sie diese mithilfe --copt=-march=nativeIhres Befehls bazel build aktivieren.

Dank all dieser Antworten und einiger Versuche und Fehler konnte ich es auf einem Mac mit installieren clang. Teilen Sie also einfach meine Lösung mit, falls sie für jemanden nützlich ist.

1. Befolgen Sie die Anweisungen zur Dokumentation - Installieren von TensorFlow aus Quellen

2. Wenn Sie dazu aufgefordert werden

   Bitte geben Sie Optimierungsflags an, die während der Kompilierung verwendet werden sollen, wenn die Bazel-Option "--config = opt" angegeben ist. [Standard ist -march = native]

Kopieren Sie dann diese Zeichenfolge und fügen Sie sie ein:

-mavx -mavx2 -mfma -msse4.2

(Die Standardoption verursachte Fehler, ebenso einige der anderen Flags. Ich habe keine Fehler mit den obigen Flags erhalten. Übrigens habe ich nauf alle anderen Fragen geantwortet .)

Nach der Installation überprüfe ich eine ~ 2x bis 2,5x Beschleunigung, wenn ich Deep-Modelle in Bezug auf eine andere Installation trainiere, die auf den Standardrädern basiert - Installation von TensorFlow unter macOS

Ich hoffe es hilft

Ich habe es kürzlich von der Quelle installiert und unten sind alle Schritte aufgeführt, die erforderlich sind, um es von der Quelle mit den genannten verfügbaren Anweisungen zu installieren.

Andere Antworten beschreiben bereits, warum diese Nachrichten angezeigt werden. Meine Antwort enthält eine schrittweise Anleitung zur Installation, die möglicherweise dazu beiträgt, dass die Leute wie ich Probleme mit der eigentlichen Installation haben.

1. Installieren Sie Bazel

Laden Sie es von einer der verfügbaren Versionen herunter , z. B. 0.5.2 . Extrahieren Sie es, gehen Sie in das Verzeichnis und konfigurieren Sie es : bash ./compile.sh. Kopieren Sie die ausführbare Datei nach /usr/local/bin:sudo cp ./output/bazel /usr/local/bin

2. Installieren Sie Tensorflow

Tensorflow klonen: Wechseln git clone https://github.com/tensorflow/tensorflow.git Sie in das geklonte Verzeichnis, um es zu konfigurieren:./configure

Es werden Sie mit mehreren Fragen aufgefordert. Unten habe ich die Antwort auf jede der Fragen vorgeschlagen. Sie können natürlich Ihre eigenen Antworten auswählen, wie Sie es bevorzugen:

Using python library path: /usr/local/lib/python2.7/dist-packages
Do you wish to build TensorFlow with MKL support? [y/N] y
MKL support will be enabled for TensorFlow
Do you wish to download MKL LIB from the web? [Y/n] Y
Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]: 
Do you wish to use jemalloc as the malloc implementation? [Y/n] n
jemalloc disabled
Do you wish to build TensorFlow with Google Cloud Platform support? [y/N] N
No Google Cloud Platform support will be enabled for TensorFlow
Do you wish to build TensorFlow with Hadoop File System support? [y/N] N
No Hadoop File System support will be enabled for TensorFlow
Do you wish to build TensorFlow with the XLA just-in-time compiler (experimental)? [y/N] N
No XLA JIT support will be enabled for TensorFlow
Do you wish to build TensorFlow with VERBS support? [y/N] N
No VERBS support will be enabled for TensorFlow
Do you wish to build TensorFlow with OpenCL support? [y/N] N
No OpenCL support will be enabled for TensorFlow
Do you wish to build TensorFlow with CUDA support? [y/N] N
No CUDA support will be enabled for TensorFlow

3. Das Pip-Paket. Um es zu erstellen, müssen Sie beschreiben, welche Anweisungen Sie möchten (Sie wissen, diese Tensorflow haben Sie darüber informiert, dass Sie fehlen).

Pip-Skript erstellen: bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.1 --copt=-msse4.2 -k //tensorflow/tools/pip_package:build_pip_package

Pip-Paket erstellen: bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

Installieren Sie das gerade erstellte Tensorflow-Pip-Paket: sudo pip install /tmp/tensorflow_pkg/tensorflow-1.2.1-cp27-cp27mu-linux_x86_64.whl

Wenn Sie Tensorflow das nächste Mal starten, wird es sich nicht mehr über fehlende Anweisungen beschweren.

Dies ist die einfachste Methode. Nur ein Schritt.

Dies hat erhebliche Auswirkungen auf die Geschwindigkeit. In meinem Fall hat sich die Zeit für einen Trainingsschritt fast halbiert.

Verweisen Sie auf benutzerdefinierte Builds von Tensorflow

Ich habe ein kleines Bash-Skript für Mac kompiliert (kann leicht auf Linux portiert werden), um alle CPU-Funktionen abzurufen und einige davon zum Erstellen von TF anzuwenden. Ich bin auf TF Master und benutze ein bisschen oft (ein paar Mal im Monat).

https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Um TensorFlow mit SSE4.2 und AVX zu kompilieren, können Sie direkt verwenden

bazel build --config = mkl --config = "opt" --copt = "- March = Broadwell" --copt = "- O3" // tensorflow / tools / pip_package: build_pip_package

Quelle: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/docker/Dockerfile.devel-cpu-mkl

2.0 KOMPATIBLE LÖSUNG:

Führen Sie die folgenden Befehle in Terminal (Linux / MacOS) oder in der Eingabeaufforderung (Windows) aus, um Tensorflow 2.0 mit Bazel zu installieren :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

#The repo defaults to the master development branch. You can also checkout a release branch to build:
git checkout r2.0

#Configure the Build => Use the Below line for Windows Machine
python ./configure.py 

#Configure the Build => Use the Below line for Linux/MacOS Machine
./configure
#This script prompts you for the location of TensorFlow dependencies and asks for additional build configuration options. 

#Build Tensorflow package

#CPU support
bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package 

#GPU support
bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Wenn Sie TensorFlow aus dem Quellcode erstellen, führen Sie das configureSkript aus. Eine der Fragen, die das configureSkript stellt, lautet wie folgt:

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]

Das configureSkript hängt die von Ihnen angegebenen Flags an den Befehl bazel an, mit dem das TensorFlow-Pip-Paket erstellt wird. Grundsätzlich können Sie auf diese Aufforderung auf zwei Arten reagieren:

• Wenn Sie TensorFlow auf demselben CPU-Typ wie dem erstellen, auf dem Sie TensorFlow ausführen, sollten Sie den Standardwert ( -march=native) akzeptieren . Diese Option optimiert den generierten Code für den CPU-Typ Ihres Computers.
• Wenn Sie TensorFlow auf einem CPU-Typ erstellen, TensorFlow jedoch auf einem anderen CPU-Typ ausführen, sollten Sie ein spezifischeres Optimierungsflag bereitstellen, wie in der gcc-Dokumentation beschrieben .

Nachdem Sie TensorFlow wie in der vorherigen Liste mit Aufzählungszeichen beschrieben konfiguriert haben, sollten Sie in der Lage sein, TensorFlow vollständig für die Ziel-CPU optimiert zu erstellen, indem --config=optSie einfach das Flag zu jedem von Ihnen ausgeführten Bazel-Befehl hinzufügen .

Um diese Warnungen auszublenden, können Sie dies vor Ihrem eigentlichen Code tun.

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf