Unix & Linux duplicate

2

Open Source Duplicate Image Finder für Linux?

Gibt es einen kostenlosen Open Source-Duplikat-Image-Finder für Linux-basierte Systeme? Die Suche nach exakten Duplikaten (basierend auf dem Inhalt, nicht dem Dateinamen) ist für mich ausreichend, aber die Fähigkeit, ähnliche Bilder zu finden, wäre sicherlich auch großartig.

16 search image-manipulation images duplicate

10

Entfernen Sie alle doppelten Wörter mithilfe eines Shell-Skripts aus der Zeichenfolge

Ich habe eine Schnur wie "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Ich möchte doppelte Wörter aus der Zeichenfolge entfernen, dann wird die Ausgabe wie folgt sein "aaa,bbb,ccc" Ich habe diesen Code Source ausprobiert $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Es funktioniert gut mit demselben …

12 shell-script shell text-processing xargs duplicate

6

So entfernen Sie doppelte Dateien mit bash

Ich habe einen Ordner mit doppelten (von md5sum( md5auf einem Mac)) Dateien, und ich möchte einen Cron- Job planen, um alle gefundenen zu entfernen. Ich bin jedoch nicht sicher, wie das geht. Was ich bisher habe: md5 -r * | sort Welches gibt so etwas aus: 04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg 1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg …

10 bash shell-script hashsum duplicate

8

Suchen Sie nach doppelten PDF-Dateien nach Inhalt

Einige Zeitschriften generieren für jeden Download ein anderes PDF. APS speichert beispielsweise die Zeit und die IP-Adresse im PDF. Oder es gibt eine Papierversion mit Hyperlinks und eine mit Textreferenzen. Wie ist es möglich, doppelte Downloads von Papieren mit 90% gleichem Inhalt auf einem Linux-System mithilfe von Open-Source-Software zu finden? …

9 scripting pdf imagemagick duplicate

6

Verwenden Sie den Basisnamen, um eine Liste der in einer Datei enthaltenen Pfade zu analysieren

Ich verwende Mac OSX und versuche, über die Befehlszeile die Anzahl der Dateien mit demselben Namen zu ermitteln. Ich habe versucht, den folgenden Befehl zu verwenden: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Es funktioniert nicht! Wenn ich folgendes mache: find …

9 find osx filenames duplicate basename

3

Entfernen Sie doppelte MP3-Dateien mit unterschiedlichen Namen, Größen und Hashs

Ich habe eine riesige Musikbibliothek (alle MP3), aber ich habe einen Teil der Musik fast gleich, aber: Vielleicht ein oder zwei Sekunden länger Etwa 97% das gleiche wie bei einem anderen Lied Oder eine andere Bitrate. Gibt es eine Möglichkeit, diese Duplikate zu finden? Wie bereits erwähnt, haben sie nicht …

9 mp3 music duplicate

5

Entfernen Sie doppelte Zeilen aus einer Datei, die einen Zeitstempel enthält

Diese Frage / Antwort bietet einige gute Lösungen zum Löschen identischer Zeilen in einer Datei, funktioniert jedoch in meinem Fall nicht, da die ansonsten doppelten Zeilen einen Zeitstempel haben. Ist es möglich, awk anzuweisen, die ersten 26 Zeichen einer Zeile bei der Ermittlung von Duplikaten zu ignorieren? Beispiel: [Fri Oct …

8 text-processing awk duplicate deduplication

4

Suchen und löschen Sie doppelte Dateien mit unterschiedlichen Namen

Ich habe eine große Musiksammlung auf meiner Festplatte gespeichert. Beim Durchsuchen stellte ich fest, dass ich in einigen Albumverzeichnissen viele doppelte Dateien habe. Normalerweise befinden sich die Duplikate neben dem Original im selben Verzeichnis. Normalerweise lautet das Format Dateiname.mp3 und die doppelte Datei Dateiname 1.mp3 . Manchmal kann es mehr …

7 files duplicate file-search file-management

Als «duplicate» getaggte Fragen