Emulieren der Bash-Quelle in Python

Ich habe ein Skript, das ungefähr so ​​aussieht:

export foo=/tmp/foo                                          
export bar=/tmp/bar

Jedes Mal, wenn ich baue, führe ich 'source init_env' aus (wobei init_env das obige Skript ist), um einige Variablen einzurichten.

Um dasselbe in Python zu erreichen, ließ ich diesen Code laufen,

reg = re.compile('export (?P<name>\w+)(\=(?P<value>.+))*')
for line in open(file):
    m = reg.match(line)
    if m:
        name = m.group('name')
        value = ''
        if m.group('value'):
            value = m.group('value')
        os.putenv(name, value)

Aber dann entschied jemand , dass es schön wäre, der init_envDatei eine Zeile wie die folgende hinzuzufügen :

export PATH="/foo/bar:/bar/foo:$PATH"     

Offensichtlich fiel mein Python-Skript auseinander. Ich könnte das Python-Skript ändern, um diese Zeile zu verarbeiten, aber es wird später unterbrochen, wenn jemand eine neue Funktion für die init_envDatei entwickelt.

Die Frage ist, ob es eine einfache Möglichkeit gibt, einen Bash-Befehl auszuführen und ihn ändern zu lassen os.environ.

Das Problem bei Ihrem Ansatz ist, dass Sie versuchen, Bash-Skripte zu interpretieren. Zuerst versuchen Sie einfach, die Exportanweisung zu interpretieren. Dann bemerken Sie, dass Leute variable Erweiterung verwenden. Spätere Personen fügen Bedingungen in ihre Dateien ein oder verarbeiten Ersetzungen. Am Ende haben Sie einen ausgewachsenen Bash-Skript-Interpreter mit einer Unmenge von Fehlern. Tu das nicht.

Lassen Sie Bash die Datei für Sie interpretieren und sammeln Sie dann die Ergebnisse.

Sie können es so machen:

#! /usr/bin/env python

import os
import pprint
import shlex
import subprocess

command = shlex.split("env -i bash -c 'source init_env && env'")
proc = subprocess.Popen(command, stdout = subprocess.PIPE)
for line in proc.stdout:
  (key, _, value) = line.partition("=")
  os.environ[key] = value
proc.communicate()

pprint.pprint(dict(os.environ))

Stellen Sie sicher, dass Sie Fehler behandeln, falls bash fehlschlägt source init_envoder bash selbst nicht ausgeführt werden kann oder der Unterprozess bash nicht ausführt oder andere Fehler auftreten.

Das env -iam Anfang der Befehlszeile erstellt eine saubere Umgebung. Das heißt, Sie erhalten nur die Umgebungsvariablen von init_env. Wenn Sie die geerbte Systemumgebung möchten, lassen Sie sie weg env -i.

Weitere Informationen finden Sie in der Dokumentation zum Unterprozess .

Hinweis: Dies erfasst nur Variablen, die mit der exportAnweisung festgelegt wurden, da envnur exportierte Variablen gedruckt werden.

Genießen.

Beachten Sie, dass in der Python-Dokumentation angegeben ist , dass Sie die Umgebung os.environdirekt bearbeiten sollten, anstatt sie zu verwenden os.putenv(). Ich halte das für einen Fehler, aber ich schweife ab.

Mit Gurke:

import os, pickle
# For clarity, I moved this string out of the command
source = 'source init_env'
dump = '/usr/bin/python -c "import os,pickle;print pickle.dumps(os.environ)"'
penv = os.popen('%s && %s' %(source,dump))
env = pickle.loads(penv.read())
os.environ = env

Aktualisiert:

Dies verwendet json, subprocess und explizit / bin / bash (für die Ubuntu-Unterstützung):

import os, subprocess as sp, json
source = 'source init_env'
dump = '/usr/bin/python -c "import os, json;print json.dumps(dict(os.environ))"'
pipe = sp.Popen(['/bin/bash', '-c', '%s && %s' %(source,dump)], stdout=sp.PIPE)
env = json.loads(pipe.stdout.read())
os.environ = env

Anstatt dass Ihre Python-Skriptquelle das Bash-Skript ist, wäre es einfacher und eleganter, eine Wrapper-Skriptquelle zu haben init_envund dann Ihr Python-Skript mit der geänderten Umgebung auszuführen.

#!/bin/bash
source init_env
/run/python/script.py

Die Antwort von @ lesmana für Python 3 wurde aktualisiert. Beachten Sie, dass durch deren Verwendung env -iverhindert wird, dass fremde Umgebungsvariablen gesetzt / zurückgesetzt werden (möglicherweise falsch, da mehrzeilige env-Variablen nicht behandelt werden).

import os, subprocess
if os.path.isfile("init_env"):
    command = 'env -i sh -c "source init_env && env"'
    for line in subprocess.getoutput(command).split("\n"):
        key, value = line.split("=")
        os.environ[key]= value

Beispiel für die hervorragende Antwort von @ Brian in einer Funktion:

import json
import subprocess

# returns a dictionary of the environment variables resulting from sourcing a file
def env_from_sourcing(file_to_source_path, include_unexported_variables=False):
    source = '%ssource %s' % ("set -a && " if include_unexported_variables else "", file_to_source_path)
    dump = '/usr/bin/python -c "import os, json; print json.dumps(dict(os.environ))"'
    pipe = subprocess.Popen(['/bin/bash', '-c', '%s && %s' % (source, dump)], stdout=subprocess.PIPE)
    return json.loads(pipe.stdout.read())

Ich verwende diese Dienstprogrammfunktion, um aws-Anmeldeinformationen und Docker-ENV-Dateien mit zu lesen include_unexported_variables=True.