Submodule in IPython neu laden

Derzeit arbeite ich an einem Python-Projekt, das Submodule enthält und numpy / scipy verwendet. Ipython wird als interaktive Konsole verwendet. Leider bin ich mit dem Workflow, den ich gerade verwende, nicht sehr zufrieden. Ich würde mich über einige Ratschläge freuen.

In IPython wird das Framework durch einen einfachen importBefehl geladen . Es ist jedoch häufig erforderlich, Code in einem der Submodule des Frameworks zu ändern. Zu diesem Zeitpunkt ist bereits ein Modell geladen und ich verwende IPython, um mit ihm zu interagieren.

Jetzt enthält das Framework viele Module, die voneinander abhängen, dh wenn das Framework zum ersten Mal geladen wird, importiert und konfiguriert das Hauptmodul die Submodule. Die Änderungen am Code werden nur ausgeführt, wenn das Modul mit neu geladen wird reload(main_mod.sub_mod). Dies ist umständlich, da ich alle geänderten Module einzeln über den vollständigen Pfad neu laden muss. Es wäre sehr praktisch, wenn reload(main_module)auch alle Submodule neu geladen würden, ohne jedoch numpy / scipy neu zu laden.

IPython bietet eine automatische Magie zum Nachladen :

%load_ext autoreload
%autoreload 2

Alle geänderten Module werden jedes Mal neu geladen, bevor eine neue Zeile ausgeführt wird. Die Art und Weise, wie dies funktioniert, ist etwas anders als dreload. Es gelten einige Einschränkungen. Geben Sie ein, um %autoreload?zu sehen, was schief gehen kann.

Wenn Sie diese Einstellungen immer aktivieren möchten, ändern Sie Ihre IPython-Konfigurationsdatei ~/.ipython/profile_default/ipython_config.py[1] und fügen Sie Folgendes hinzu:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Gutschrift an @Kos über einen Kommentar unten.

[1] Wenn Sie die Datei nicht haben ~/.ipython/profile_default/ipython_config.py, müssen Sie ipython profile createzuerst anrufen . Oder die Datei befindet sich unter $IPYTHONDIR.

In IPython 0.12 (und möglicherweise früher) können Sie Folgendes verwenden:

%load_ext autoreload
%autoreload 2

Dies entspricht im Wesentlichen der Antwort von pv. , außer dass die Erweiterung umbenannt wurde und jetzt mit geladen wird %load_ext.

Aus irgendeinem Grund scheint es für die Situation, in der Sie Code von einem Notizbuch in ein anderes importieren , weder zu funktionieren %autoreloadnoch dreloadzu funktionieren . Nur einfaches Python funktioniert:reload

reload(module)

Basierend auf [1] .

IPython bietet dreload()an, alle Submodule rekursiv neu zu laden. Persönlich bevorzuge ich die Verwendung des %run()magischen Befehls (obwohl er kein tiefes Nachladen durchführt, wie John Salvatier in den Kommentaren hervorhob).

Das Modul mit dem Namen importlibermöglicht den Zugriff auf Import-Interna. Insbesondere bietet es Funktion importlib.reload():

import importlib
importlib.reload(my_module)

Im Gegenteil %autoreload, importlib.reload()auch zurückgesetzt global in Modul gesetzt Variablen. In den meisten Fällen ist es das, was Sie wollen.

importlibist nur seit Python 3.1 verfügbar. Für ältere Versionen müssen Sie Modul verwenden imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Um zu vermeiden, dass diese magische Funktion immer wieder eingegeben wird, können sie in das ipython-Startskript eingefügt werden (benennen Sie es mit dem Suffix .py unter .ipython / profile_default / startup. Alle Python-Skripte unter diesem Ordner werden in lexikalischer Reihenfolge geladen) sieht wie folgt aus:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Wie wäre es damit:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Dadurch sollte der gesamte Baum der Module und Submodule, die Sie ihm geben, effektiv neu geladen werden. Sie können diese Funktion auch in Ihre .ipythonrc einfügen (glaube ich), damit sie jedes Mal geladen wird, wenn Sie den Interpreter starten.

Andere Option:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Verifiziert unter ipython und ipython3 v5.1.0 unter Ubuntu 14.04.

Meine Standardpraxis für das Nachladen besteht darin, beide Methoden nach dem ersten Öffnen von zu kombinieren IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Wenn Sie zuvor Module laden, werden diese auch mit einem Handbuch nicht neu geladen reload(module_name). Ich bekomme immer noch sehr selten unerklärliche Probleme mit Klassenmethoden, die nicht neu geladen werden und die ich noch nicht untersucht habe.

Beachten Sie, dass das oben Genannte autoreloadin IntelliJ nur funktioniert, wenn Sie die geänderte Datei manuell speichern (z. B. mit Strg + s oder cmd + s). Es scheint nicht mit automatischem Speichern zu funktionieren.

Auf Jupyter Notebooks auf Anaconda gehen Sie folgendermaßen vor:

%load_ext autoreload
%autoreload 2

produzierte die Nachricht:

Die Autoreload-Erweiterung ist bereits geladen. Verwenden Sie zum erneuten Laden Folgendes: %reload_ext autoreload

Es sieht so aus, als wäre es vorzuziehen:

%reload_ext autoreload
%autoreload 2

Versionsinformation:

Die Version des Notebook-Servers ist 5.0.0 und läuft unter: Python 3.6.2 | Anaconda, Inc. | (Standard, 20. September 2017, 13:35:58) [MSC v.1900 32 Bit (Intel)]

Unterobjekte werden dadurch nicht neu geladen. Ich glaube, Sie müssen dafür IPythons Deepreload verwenden.