Automatische Ausführung von Befehlen über SSH auf vielen Servern

In einer TXT-Datei befindet sich eine Liste mit IP-Adressen, z.

1.1.1.1
2.2.2.2
3.3.3.3

Hinter jeder IP-Adresse steht ein Server und auf jedem Server läuft ein SSHD auf Port 22. Nicht jeder Server ist in der known_hostsListe (auf meinem PC Ubuntu 10.04 LTS / bash).

Wie kann ich Befehle auf diesen Servern ausführen und die Ausgabe erfassen?

Idealerweise möchte ich die Befehle auf allen Servern parallel ausführen.

Ich verwende die Authentifizierung mit öffentlichem Schlüssel auf allen Servern.

Hier sind einige mögliche Fallstricke:

• Der SSH fordert mich auf, den angegebenen SSH-Schlüssel des Servers in meine known_hostsDatei zu übernehmen.
• Die angegebenen Befehle geben möglicherweise einen Exit-Code ungleich Null zurück, der angibt, dass die Ausgabe möglicherweise ungültig ist. Ich muss das erkennen.
• Eine Verbindung zu einem bestimmten Server kann möglicherweise nicht hergestellt werden, z. B. aufgrund eines Netzwerkfehlers.
• Es sollte eine Zeitüberschreitung geben, falls der Befehl länger als erwartet ausgeführt wird oder der Server während der Ausführung des Befehls ausfällt.

Die Server sind AIX / ksh (aber ich denke, das ist eigentlich egal.

Angenommen, Sie sind nicht in der Lage, pssh oder andere zu installieren, können Sie Folgendes tun:

tmpdir=${TMPDIR:-/tmp}/pssh.$$
mkdir -p $tmpdir
count=0
while IFS= read -r userhost; do
    ssh -n -o BatchMode=yes ${userhost} 'uname -a' > ${tmpdir}/${userhost} 2>&1 &
    count=`expr $count + 1`
done < userhost.lst
while [ $count -gt 0 ]; do
    wait $pids
    count=`expr $count - 1`
done
echo "Output for hosts are in $tmpdir"

Es gibt verschiedene Tools, mit denen Sie sich auf mehreren Computern gleichzeitig anmelden und eine Reihe von Befehlen ausführen können. Hier sind ein paar:

• pssh
• pdsh
• clusterssh
• clusterit
• mussh

Wenn Sie mehr mit Python- Skripten als mit bashSkripten zu tun haben , ist Fabric möglicherweise das richtige Werkzeug für Sie.

Von der Fabric-Homepage :

Fabric ist eine Python-Bibliothek (2.5 oder höher) und ein Befehlszeilentool zur Optimierung der Verwendung von SSH für die Anwendungsbereitstellung oder für Systemverwaltungsaufgaben.

Es bietet eine Reihe grundlegender Vorgänge zum Ausführen von lokalen oder Remote-Shell-Befehlen (normalerweise oder über sudo) und zum Hochladen / Herunterladen von Dateien sowie zusätzliche Funktionen, z. B. das Auffordern des aktiven Benutzers zur Eingabe oder das Abbrechen der Ausführung.

In der Regel wird ein Python-Modul erstellt, das eine oder mehrere Funktionen enthält, und diese dann über das Befehlszeilentool fab ausgeführt.

Ich benutze GNU parallel dazu , insbesondere können Sie dieses Rezept verwenden:

parallel --tag --nonall --slf your.txt command

Mit your.txtder Datei mit der Server-IP-Adresse / Namen.

Sehr einfaches Setup:

for host in $(cat hosts.txt); do ssh "$host" "$command" >"output.$host"; done

Die Authentifizierung mit Name / Passwort ist wirklich keine gute Idee. Sie sollten dafür einen privaten Schlüssel einrichten:

ssh-keygen && for host in $(cat hosts.txt); do ssh-copy-id $host; done

Ich schlage Ansible.cc vor . Es ist ein Konfigurationsmanager und ein Befehlsverteiler.

Ich denke, Sie suchen nach pssh und den zugehörigen parallelen Versionen des üblichen scp, rsync usw.

Ich habe ein Open-Source-Tool namens Overcast entwickelt , um dies zu vereinfachen.

Zuerst definieren Sie Ihre Server:

overcast import vm.01 --ip 1.1.1.1 --ssh-key /path/to/key
overcast import vm.02 --ip 2.2.2.2 --ssh-key /path/to/key

Anschließend können Sie mehrere Befehle und Skriptdateien nacheinander oder parallel ausführen.

overcast run vm.* uptime "free -m" /path/to/script --parallel

Das Hypertable- Projekt hat kürzlich ein Multi-Host-SSH-Tool hinzugefügt. Dieses Tool wurde mit libssh erstellt und stellt Verbindungen her und gibt Befehle asynchron und parallel aus, um maximale Parallelität zu erzielen . Eine vollständige Dokumentation finden Sie unter SSH-Tool für mehrere Hosts . Um einen Befehl auf einer Reihe von Hosts auszuführen, führen Sie ihn wie folgt aus:

$ ht ssh 1.1.1.1,2.2.2.2,3.3.3.3 uptime

Sie können auch einen Hostnamen oder ein IP-Muster angeben, zum Beispiel:

$ ht ssh 1.1.1.[1-99] uptime
$ ht ssh host[00-99] uptime

Es wird auch eine --random-start-delay <millis>Option unterstützt , die den Start des Befehls auf jedem Host um ein zufälliges Zeitintervall zwischen 0 und <millis>Millisekunden verzögert . Diese Option kann verwendet werden, um donnernde Probleme mit der Herde zu vermeiden, wenn der ausgeführte Befehl auf eine zentrale Ressource zugreift.

Ich habe collectnode entwickelt . Sehr einfach und effektiv, um Aufgaben auf mehreren Servern auszuführen (Fenster eingeschlossen).

So verwenden Sie CollectNode:

1. Erstellen Sie die Liste der Server, mit denen Sie arbeiten möchten:

   # cat hosts.file
   server1
   server2
   server3
   server4
   server5
   

2. Führen Sie CollectNode aus, indem Sie die Liste der Serves übergeben:

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User'
   

3. Optional können die Ergebnisse gefiltert werden. Dieser Befehl zeigt beispielsweise nur den Server an, auf dem die Bedingung erfüllt ist.

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User' --where="command contain User"
   

https://collectnode.com/5-tasks-collectnode-can-help-managing-servers/

Nur ein Headsup für eine wirklich schöne Frage:

Die beste Lösung, die ich gefunden habe, ist, nicht überraschend, tmux.

Sie können Strg-B: Synchronisieren-Fenster in tmux für erstaunliche Ergebnisse setzen. Dazu müssen Sie alle Ihre ssh-Verbindungen in verschiedenen Fenstern von Tmux geöffnet haben.

Vielleicht funktioniert so etwas, um Befehl auf mehreren Hosts auszuführen? Angenommen, alle Hosts sind in .ssh / config eingerichtet, um sich ohne Kennwort anzumelden.

$ < hosts.txt xargs -I {} ssh {} command

Erstellen Sie eine Datei / etc / sxx / hosts

bevölkern wie folgt:

[grp_ips]
1.1.1.1
2.2.2.2
3.3.3.3

Teilen Sie den SSH-Schlüssel auf allen Computern.

Installieren Sie sxx aus dem Paket:

https://github.com/ericcurtin/sxx/releases

Dann führe den Befehl wie folgt aus:

sxx username@grp_ips "whatever bash command"

Verwenden Sie Paramiko http://www.paramiko.org/ und Thread-basierte Parallelität https://docs.python.org/3/library/threading.html. Der folgende Code ermöglicht die parallele Ausführung mehrerer Befehle auf jedem Server!

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.load_system_host_keys()
ssh.connect(hostname, port, username, password)
t = threading.Thread(target=tasks[index], args=(ssh, box_ip,))
t.start()

Hinweis: Wiederholen Sie die obigen Anweisungen für jeden Server.

Ich denke, "erwarten" ist das, was Sie brauchen.
Viele Menschen wissen nicht einmal, dass es existiert. Es ist ein tcl-basiertes Programm, das Fragen und mögliche Antworten für Sie erstellt. Schauen Sie unter https://wiki.tcl-lang.org/page/Expect nach