In diesem Tutorial-Code von der TensorFlow-Website,

1. könnte jemand helfen zu erklären, was global_stepbedeutet?

   Ich habe auf der Tensorflow-Website geschrieben, dass ein globaler Schritt verwendet wird, um Trainingsschritte zu zählen , aber ich verstehe nicht ganz, was genau das bedeutet.

2. Was bedeutet die Zahl 0 beim Einrichten global_step?

    def training(loss,learning_rate):
        tf.summary.scalar('loss',loss)
        optimizer = tf.train.GradientDescentOptimizer(learning_rate)
        
        # Why 0 as the first parameter of the global_step tf.Variable?
        global_step = tf.Variable(0, name='global_step',trainable=False)

        train_op = optimizer.minimize(loss, global_step=global_step)
    
        return train_op

Laut Tensorflow doc global_step: Inkrementieren um eins, nachdem die Variablen aktualisiert wurden . Bedeutet das, dass nach einem Update global_step1 wird?

global_stepbezieht sich auf die Anzahl der Chargen, die in der Grafik angezeigt werden. Jedes Mal, wenn eine Charge bereitgestellt wird, werden die Gewichte in die Richtung aktualisiert, die den Verlust minimiert. global_stepVerfolgt nur die Anzahl der bisher gesehenen Chargen. Wenn es in der minimize()Argumentliste übergeben wird, wird die Variable um eins erhöht. Schau es dir an optimizer.minimize().

Sie können den global_stepWert mit erhalten tf.train.global_step(). Praktisch sind auch die Utility-Methoden tf.train.get_global_stepoder tf.train.get_or_create_global_step.

0 ist in diesem Zusammenhang der Anfangswert des globalen Schritts.

Zeigen Sie unten ein anschauliches Beispiel:

Code:

train_op = tf.train.GradientDescentOptimizer(learning_rate=LEARNING_RATE).minimize(loss_tensor,global_step=tf.train.create_global_step())
with tf.Session() as sess:
    ...
    tf.logging.log_every_n(tf.logging.INFO,"np.mean(loss_evl)= %f at step %d",100,np.mean(loss_evl),sess.run(tf.train.get_global_step()))

entsprechender Druck

INFO:tensorflow:np.mean(loss_evl)= 1.396970 at step 1
INFO:tensorflow:np.mean(loss_evl)= 1.221397 at step 101
INFO:tensorflow:np.mean(loss_evl)= 1.061688 at step 201

Das global_step Variable enthält die Gesamtzahl der Schritte während des Trainings über die Aufgaben hinweg (jeder Schrittindex wird nur für eine einzelne Aufgabe ausgeführt).

Eine von erstellte Zeitleiste global_stephilft uns zu verstehen, wo wir uns im großen Schema befinden, und zwar anhand der einzelnen Aufgaben. Zum Beispiel könnte der Verlust und die Genauigkeit global_stepauf Tensorboard aufgetragen werden .

Es gibt Netzwerke, z. B. GANs, für die möglicherweise zwei (oder mehr) verschiedene Schritte erforderlich sind. Das Trainieren eines GANs mit der WGAN-Spezifikation erfordert, dass die Schritte auf dem Diskriminator (oder Kritiker) D mehr sind als die auf dem Generator G. In diesem Fall ist es nützlich, verschiedene global_steps-Variablen zu deklarieren.

Beispiel: ( G_lossund D_losssind der Verlust des Generators und des Diskriminators)

G_global_step = tf.Variable(0, name='G_global_step', trainable=False)
D_global_step = tf.Variable(0, name='D_global_step', trainable=False)

minimizer = tf.train.RMSPropOptimizer(learning_rate=0.00005)

G_solver = minimizer.minimize(G_loss, var_list=params, global_step=G_global_step)
D_solver = minimizer.minimize(D_loss, var_list=params, global_step=D_global_step)