Ermitteln der Ebenen und Ebenengrößen für jedes Docker-Bild

Zu Forschungszwecken versuche ich, die öffentliche Docker-Registrierung zu crawlen ( https://registry.hub.docker.com/ ) zu crawlen und herauszufinden, 1) wie viele Ebenen ein durchschnittliches Bild hat und 2) wie groß diese Ebenen sind, um eine zu erhalten Idee der Verteilung.

Ich habe jedoch die API und die öffentlichen Bibliotheken sowie die Details zum Github studiert, kann aber keine Methode finden, um:

• Rufen Sie alle öffentlichen Repositorys / Bilder ab (selbst wenn dies Tausende sind, benötige ich noch eine Startliste, um sie zu durchlaufen).
• Finde alle Ebenen eines Bildes
• Finden Sie die Größe für eine Ebene (also nicht für ein Bild, sondern für die einzelne Ebene).

Kann mir jemand helfen, einen Weg zu finden, um diese Informationen abzurufen?

Danke dir!

BEARBEITEN: Kann jemand überprüfen, ob bei der Suche nach '*' in der Docker-Registrierung alle Repositorys zurückgegeben werden und nicht nur irgendetwas, das irgendwo '*' erwähnt? https://registry.hub.docker.com/search?q=*

Sie finden die Ebenen der Bilder im Ordner / var / lib / docker / aufs / Ebenen. Geben Sie an, ob Sie den Speichertreiber als aufs konfiguriert haben (Standardoption).

Beispiel:

 docker ps -a
 CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS                      PORTS               NAMES
 0ca502fa6aae        ubuntu              "/bin/bash"         44 minutes ago      Exited (0) 44 seconds ago                       DockerTest

Zeigen Sie nun die Ebenen der Container an, die mit dem Image "Ubuntu" erstellt wurden. Gehen Sie zum Verzeichnis / var / lib / docker / aufs / layer und katzen Sie, dass die Datei mit der Container-ID beginnt (hier ist es 0ca502fa6aae *).

 root@viswesn-vm2:/var/lib/docker/aufs/layers# cat    0ca502fa6aaefc89f690736609b54b2f0fdebfe8452902ca383020e3b0d266f9-init 
 d2a0ecffe6fa4ef3de9646a75cc629bbd9da7eead7f767cb810f9808d6b3ecb6
 29460ac934423a55802fcad24856827050697b4a9f33550bd93c82762fb6db8f
 b670fb0c7ecd3d2c401fbfd1fa4d7a872fbada0a4b8c2516d0be18911c6b25d6
 83e4dde6b9cfddf46b75a07ec8d65ad87a748b98cf27de7d5b3298c1f3455ae4

Dies zeigt das Ergebnis derselben durch Ausführen

root@viswesn-vm2:/var/lib/docker/aufs/layers# docker history ubuntu
IMAGE               CREATED             CREATED BY                                         SIZE                COMMENT
d2a0ecffe6fa        13 days ago         /bin/sh -c #(nop) CMD ["/bin/bash"]             0 B                 
29460ac93442        13 days ago         /bin/sh -c sed -i 's/^#\s*\   (deb.*universe\)$/   1.895 kB            
b670fb0c7ecd        13 days ago         /bin/sh -c echo '#!/bin/sh' > /usr/sbin/polic   194.5 kB            
83e4dde6b9cf        13 days ago         /bin/sh -c #(nop) ADD file:c8f078961a543cdefa   188.2 MB 

Anzeigen der vollständigen Ebenen-ID; Führen Sie die Option --no-trunc als Teil des Verlaufsbefehls aus.

docker history --no-trunc ubuntu

Sie finden die Bild-ID zunächst mit:

$ docker images -a

Suchen Sie dann die Bildebenen und ihre Größen:

$ docker history --no-trunc <Image ID>

Hinweis: Ich verwende Docker Version 1.13.1

$ docker -v
Docker version 1.13.1, build 092cba3

Schauen Sie sich tauchen in golang geschrieben.

Super Werkzeug!

Meiner Meinung nach docker history <image>ist ausreichend. Dies gibt die Größe jeder Ebene zurück:

$ docker history jenkinsci-jnlp-slave:2019-1-9c
IMAGE        CREATED    CREATED BY                                    SIZE  COMMENT
93f48953d298 42 min ago /bin/sh -c #(nop)  USER jenkins               0B
6305b07d4650 42 min ago /bin/sh -c chown jenkins:jenkins -R /home/je… 1.45GB

Sie haben hier eine sehr gute Antwort: https://stackoverflow.com/a/32455275/165865

Führen Sie einfach die folgenden Bilder aus:

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock nate/dockviz images -t

Dadurch wird das Docker-Bild überprüft und die Ebenen gedruckt:

$ docker image inspect nginx -f '{{.RootFS.Layers}}'
[sha256:d626a8ad97a1f9c1f2c4db3814751ada64f60aed927764a3f994fcd88363b659 sha256:82b81d779f8352b20e52295afc6d0eab7e61c0ec7af96d85b8cda7800285d97d sha256:7ab428981537aa7d0c79bc1acbf208c71e57d9678f7deca4267cc03fba26b9c8]

ein weiteres Tool: https://github.com/CenturyLinkLabs/dockerfile-from-image

GUI mit ImageLayers.io

1. https://hub.docker.com/search?q=* zeigt alle Bilder im gesamten Docker-Hub an. Dies kann nicht über den Suchbefehl abgerufen werden, da keine Platzhalter akzeptiert werden.

2. Ab Version 1.10 können Sie alle Ebenen in einem Bild finden, indem Sie es ziehen und die folgenden Befehle verwenden:

   docker pull ubuntu
   ID=$(sudo docker inspect -f {{.Id}} ubuntu)
   jq .rootfs.diff_ids /var/lib/docker/image/aufs/imagedb/content/$(echo $ID|tr ':' '/')
   

3) Die Größe kann in gefunden werden, /var/lib/docker/image/aufs/layerdb/sha256/{LAYERID}/sizeobwohl LAYERID! = Die diff_ids, die mit dem vorherigen Befehl gefunden wurden. Dazu müssen Sie /var/lib/docker/image/aufs/layerdb/sha256/{LAYERID}/diffdie vorherige Befehlsausgabe betrachten und mit ihr vergleichen, um die richtige diff_id und Größe richtig abzugleichen.

Es ist in der Tat möglich, die Manifest- oder Blob-Informationen vom Docker-Registrierungsserver ohne abzufragen das Image auf die lokale Festplatte zu ziehen.

Sie können auf die Registry v2-API verweisen, um das Bildmanifest abzurufen.

GET /v2/<name>/manifests/<reference>

Beachten Sie, dass Sie mit verschiedenen Manifestversionen umgehen müssen. Für v2 können Sie direkt die Größe der Schicht und den Digest des Blobs ermitteln. Für v1 manifest können Sie die Blob-Download-URL HEADEN, um die tatsächliche Ebenengröße zu erhalten.

Es gibt ein einfaches Skript für die Behandlung der oben genannten Fälle, das kontinuierlich gepflegt wird.

Nicht genau die ursprüngliche Frage, aber um die Gesamtsumme aller Bilder zu ermitteln, ohne gemeinsam genutzte Ebenen doppelt zu zählen, ist Folgendes hilfreich (Ubuntu 18):

sudo du -h -d1  /var/lib/docker/overlay2 | sort -h

Ich habe dieses Problem mithilfe der Suchfunktion auf der Docker-Website gelöst, wobei '*' eine gültige Suche ist, die 200.000 Repositorys zurückgibt, und dann jede einzelne Seite gecrawlt habe. Durch HTML-Analyse kann ich alle Bildnamen auf jeder Seite extrahieren.