Teilen Sie Ihre Dateien automatisch in ein (rekursives) Verzeichnis mit einer beliebigen Anzahl von Dateien pro (Unter-) Ordner / Ordner pro übergeordnetem Ordner
Der einfachste und meiner Meinung nach effizienteste Weg besteht darin, die Dateien in Ordnern in Ordnern neu zu organisieren, ggf. sogar in verschiedenen Ebenen von Verzeichnisebenen. Dadurch können Ihre Dateien durchsucht werden, ohne dass Nautilus erstickt.
Das folgende Skript erledigt das für Sie. Es werden Ordner mit einer beliebigen Anzahl von Dateien erstellt. Diese Ordner werden in Unterordnern organisiert, wenn sie eine (gleiche) beliebige Anzahl usw. überschreiten. Mit anderen Worten; Jede (Unter-) Ebene hat die gleiche maximale Anzahl von Dateien / Unterverzeichnissen, was das Durchsuchen erleichtert.
Jeder der erstellten Ordner zeigt die Ordnernummer + die Anzahl der erstellten Unterebenen (wobei z. B. 22_1 nur Dateien enthält):
Die Prüfung
Ich habe in einem Verzeichnis von 300.000 Dateien getestet, um es in Blöcken von (maximal) 100 Dateien zu reorganisieren, in übergeordneten Verzeichnissen mit (maximal) 100 Ordnern usw. zu organisieren.
Auf meinem System dauerte es weniger als eine Minute. Ein Test von 100.000 Dateien in kleinere Blöcke war eine Frage von Sekunden.
Das Skript
#!/usr/bin/env python3
import subprocess
import os
import shutil
#--- set the directory to reorganize below
dr = "/path/to/directory"
#--- set the number of files/folders per level
size = 100
level = 0
def move(fn, drn, level):
folder = dr+"/"+str(drn)+"_"+str(level)
if not os.path.exists(folder):
os.mkdir(folder)
shutil.move(dr+"/"+f, folder+"/"+f)
while len(os.listdir(dr)) > size:
level += 1
fn = 0; drn = 1
for f in os.listdir(dr):
if fn < size:
move(fn, drn, level)
else:
fn = 0
drn += 1
move(fn, drn, level)
fn += 1
Wie benutzt man
- Kopieren Sie das Skript in einen leeren Ordner und speichern Sie es unter
reorganize.py
- Legen Sie im Kopfabschnitt den Pfad zu Ihrem Verzeichnis fest, die gewünschte Anzahl von Dateien pro Unterverzeichnis (= entspricht den Ordnern pro enthaltenem Verzeichnis).
Führen Sie es mit dem folgenden Befehl aus:
python3 /path/to/reorganize.py
Hinweis
Das Skript (so wie es ist) erstellt lediglich eine Verzeichnisstruktur, in der jede Ebene eine definierte Anzahl von Dateien / Ordnern hat. Es wird keine Organisation nach Name, Datum oder was auch immer berücksichtigt.
BEARBEITEN
Wie in einem Kommentar angefordert, ein Skript zum Verschieben der Dateien in ein flaches Verzeichnis, nachdem die Dateien verarbeitet wurden.
Die Verwendung ist ziemlich gleich. Stellen Sie als Verzeichnis dasselbe Verzeichnis wie das erste Skript ein, aber das scheint offensichtlich.
#!/usr/bin/env python3
import shutil
import os
#--- set the directory, the same as the first script
dr = "/path/to/directory"
#---
# move the files back
for root, dirs, files in os.walk(dr):
for file in files:
shutil.move(root+"/"+file, dr+"/"+file)
# remove the (now empty) subdirectories
for d in os.listdir(dr):
folder = dr+"/"+d
if os.path.isdir(folder):
shutil.rmtree(folder)
Hinweis
Wie in einem Kommentar erwähnt, geht das Skript davon aus, dass kein Risiko für Namenskonflikte besteht, da alle Dateien ursprünglich aus demselben (flachen) Verzeichnis stammten.