Soll ich @ tf.function für alle Funktionen verwenden?

Ein offizielles Tutorial zu @tf.functionsagt:

Verwenden Sie tf.function, um Diagramme aus Ihren Programmen zu erstellen, um Spitzenleistungen zu erzielen und Ihr Modell überall einsetzbar zu machen. Dank AutoGraph funktioniert eine überraschende Menge an Python-Code nur mit tf.function, aber es gibt immer noch Fallstricke, vor denen man sich hüten muss.

Die wichtigsten Erkenntnisse und Empfehlungen sind:

• Verlassen Sie sich nicht auf Python-Nebenwirkungen wie Objektmutation oder Listenanhänge.
• tf.function funktioniert am besten mit TensorFlow-Ops und nicht mit NumPy-Ops oder Python-Primitiven.
• Verwenden Sie im Zweifelsfall das for x in y-Idiom.

Es wird nur erwähnt, wie@tf.function kommentierte Funktionen implementiert werden, nicht jedoch, wann sie verwendet werden sollen.

Gibt es eine Heuristik, wie man entscheidet, ob ich zumindest versuchen soll, eine Funktion mit Anmerkungen zu versehen tf.function? Es scheint, dass es keine Gründe gibt, es nicht zu tun, es sei denn, ich bin zu faul, um Nebenwirkungen zu entfernen oder einige Dinge wie range()-> zu ändern tf.range(). Aber wenn ich dazu bereit bin ...

Gibt es einen Grund, nicht @tf.functionfür alle Funktionen zu verwenden?

TLDR: Es hängt von Ihrer Funktion ab und davon, ob Sie in Produktion oder Entwicklung sind. Nicht verwenden, tf.functionwenn Sie Ihre Funktion einfach debuggen möchten oder wenn sie unter die Einschränkungen der AutoGraph- oder tf.v1-Codekompatibilität fällt. Ich würde wärmstens empfehlen, die Inside TensorFlow-Vorträge über AutoGraph und Funktionen zu sehen, nicht über Sitzungen .

Im Folgenden werde ich die Gründe aufschlüsseln, die alle aus Informationen stammen, die Google online zur Verfügung gestellt hat.

Im Allgemeinen tf.functionbewirkt der Dekorator, dass eine Funktion als aufrufbare Funktion kompiliert wird, die ein TensorFlow-Diagramm ausführt. Dies beinhaltet:

• Konvertierung des Codes über AutoGraph, falls erforderlich (einschließlich aller Funktionen, die von einer mit Anmerkungen versehenen Funktion aufgerufen werden)
• Verfolgen und Ausführen des generierten Diagrammcodes

Zu den dahinter stehenden Gestaltungsideen stehen detaillierte Informationen zur Verfügung.

Vorteile der Dekoration einer Funktion mit tf.function

Allgemeine Vorteile

• Schnellere Ausführung , insbesondere wenn die Funktion aus vielen kleinen Operationen besteht (Quelle)

Für Funktionen mit Python-Code / Verwenden von AutoGraph über tf.functionDekoration

Wenn Sie AutoGraph verwenden möchten, wird die Verwendung tf.functiondringend empfohlen, wenn Sie AutoGraph direkt aufrufen. Gründe hierfür sind: Automatische Steuerungsabhängigkeiten, die für einige APIs, mehr Caching und Ausnahmehilfen (Quelle) erforderlich sind .

Nachteile der Dekoration einer Funktion mit tf.function

Allgemeine Nachteile

• Wenn die Funktion nur aus wenigen teuren Operationen besteht, wird es nicht viel Beschleunigung geben (Quelle)

Für Funktionen mit Python-Code / Verwenden von AutoGraph über tf.functionDekoration

• Keine Ausnahme fangen (sollte im eifrigen Modus durchgeführt werden; außerhalb der dekorierten Funktion) (Quelle)
• Das Debuggen ist viel schwieriger
• Einschränkungen aufgrund versteckter Nebenwirkungen und TF-Kontrollfluss

Detaillierte Informationen zu AutoGraph-Einschränkungen sind verfügbar.

Für Funktionen mit tf.v1-Code

• Es ist nicht erlaubt, Variablen mehr als einmal zu erstellen tf.function, dies kann sich jedoch ändern, da der tf.v1-Code ausläuft (Quelle).

Für Funktionen mit tf.v2-Code

• Keine besonderen Nachteile

Beispiele für Einschränkungen

Variablen mehrmals erstellen

Es ist nicht zulässig, Variablen mehrmals zu erstellen, wie vim folgenden Beispiel:

@tf.function
def f(x):
    v = tf.Variable(1)
    return tf.add(x, v)

f(tf.constant(2))

# => ValueError: tf.function-decorated function tried to create variables on non-first call.

Im folgenden Code wird dies gemindert, indem sichergestellt self.vwird , dass dieser nur einmal erstellt wird:

class C(object):
    def __init__(self):
        self.v = None
    @tf.function
    def f(self, x):
        if self.v is None:
            self.v = tf.Variable(1)
        return tf.add(x, self.v)

c = C()
print(c.f(tf.constant(2)))

# => tf.Tensor(3, shape=(), dtype=int32)

Versteckte Nebenwirkungen, die nicht von AutoGraph erfasst wurden

Änderungen wie self.ain diesem Beispiel können nicht ausgeblendet werden, was zu einem Fehler führt, da (noch) keine funktionsübergreifende Analyse durchgeführt wird (Quelle) :

class C(object):
    def change_state(self):
        self.a += 1

    @tf.function
    def f(self):
        self.a = tf.constant(0)
        if tf.constant(True):
            self.change_state() # Mutation of self.a is hidden
        tf.print(self.a)

x = C()
x.f()

# => InaccessibleTensorError: The tensor 'Tensor("add:0", shape=(), dtype=int32)' cannot be accessed here: it is defined in another function or code block. Use return values, explicit Python locals or TensorFlow collections to access it. Defined in: FuncGraph(name=cond_true_5, id=5477800528); accessed from: FuncGraph(name=f, id=5476093776).

Änderungen in der Sicht sind kein Problem:

class C(object):
    @tf.function
    def f(self):
        self.a = tf.constant(0)
        if tf.constant(True):
            self.a += 1 # Mutation of self.a is in plain sight
        tf.print(self.a)

x = C()
x.f()

# => 1

Beispiel für eine Einschränkung aufgrund des TF-Kontrollflusses

Diese if-Anweisung führt zu einem Fehler, da der Wert für else für den TF-Steuerungsfluss definiert werden muss:

@tf.function
def f(a, b):
    if tf.greater(a, b):
        return tf.constant(1)

# If a <= b would return None
x = f(tf.constant(3), tf.constant(2))   

# => ValueError: A value must also be returned from the else branch. If a value is returned from one branch of a conditional a value must be returned from all branches.

tf.function ist nützlich beim Erstellen und Verwenden von Berechnungsgraphen. Sie sollten im Training und in der Bereitstellung verwendet werden, werden jedoch für die meisten Ihrer Funktionen nicht benötigt.

Nehmen wir an, wir bauen eine spezielle Schicht, die von einem größeren Modell getrennt sein wird. Wir möchten nicht, dass der tf.function-Dekorator über der Funktion steht, die diese Ebene erstellt, da er lediglich definiert, wie die Ebene aussehen wird.

Nehmen wir andererseits an, wir werden entweder eine Vorhersage treffen oder unser Training mit einer Funktion fortsetzen. Wir möchten, dass der Dekorator tf.funktion ist, da wir tatsächlich das Berechnungsdiagramm verwenden, um einen Wert zu erhalten.

Ein gutes Beispiel wäre die Konstruktion eines Encoder-Decoder-Modells. Setzen Sie den Dekorateur NICHT um die Funktion, um den Encoder oder Decoder oder eine beliebige Ebene zu erstellen. Dies ist nur eine Definition dessen, was er tun wird. Stellen Sie den Dekorateur auf die Methode "Zug" oder "Vorhersage", da diese tatsächlich den Berechnungsgraphen für die Berechnung verwenden.