Berechnung der Gesamtdateigröße anhand der Erweiterung in der Shell

Wir haben eine Reihe von Verzeichnissen, die Lucene-Indizes enthalten. Jeder Index ist eine Mischung aus verschiedenen Dateitypen (differenziert nach Erweiterung), zB:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(es geht um 10 verschiedene Erweiterungen)

Wir möchten eine Gesamtsumme nach Dateierweiterung erhalten, zB:

.frq     21234
.fnm     34757
..

Ich habe verschiedene Kombinationen von du / awk / xargs ausprobiert, finde es aber schwierig, genau das zu tun.

Für jede gegebene Erweiterung können Sie eine verwenden

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

um die gesamte Dateigröße für diesen Typ zu erhalten.

Und nach einigem Nachdenken

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Welches die Größe in Bytes jedes gefundenen Dateityps ausgibt.

Mit bash version4, müssen Sie nur auf Anruf find, lsund awknicht notwendig:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Jede zweite Spalte, aufgeteilt nach .und letzter Teil (Erweiterung), gespeichert im Array.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

dann hast du jede erweiterung gesamtgröße in bytes.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Erweiterung von Iains Skript um eine schnellere Version für die Arbeit mit einer großen Anzahl von Dateien.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Das ist die Lösung:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Lösung ursprünglich in diesem Beitrag gepostet: Holen Sie sich alle Erweiterungen und die jeweilige Anzahl von Dateien in ein Verzeichnis

Ich löste mit diesen beiden Befehlen:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

Meine Version der Antwort auf die Frage:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Try Crab ( http://etia.co.uk/ ) - ein Befehlszeilenprogramm, mit dem Sie das Dateisystem mit SQL abfragen können.