So finden Sie die gesamte Dateigröße, gruppiert nach Erweiterung

Ich arbeite an einem Cluster, der mit anderen Kollegen geteilt wird. Die Festplatte ist begrenzt (und war gelegentlich voll), daher bereinige ich gelegentlich meinen Teil. Ich möchte dies schnell tun, also mache ich dies bis jetzt, indem ich eine Liste von Dateien erstelle, die größer als 100 MB sind und älter als 3 Monate sind, und ich sehe, ob ich sie noch brauche.

Aber jetzt denke ich, dass es einen Ordner mit> 1000 kleineren Dateien geben könnte, den ich vermisse, also möchte ich einen einfachen Weg finden, um zu sehen, ob dies der Fall ist. Aus der Art und Weise, wie ich Daten generiere, würde es hilfreich sein, eine Liste der Gesamtgröße pro Erweiterung zu erhalten. Im Zusammenhang mit dieser Frage "Erweiterung" als alles hinter dem letzten Punkt im Dateinamen.

Angenommen, ich habe mehrere Ordner mit mehreren Dateien:

folder1/file1.bmp   40 kiB
folder1/file2.jpg   20 kiB
folder2/file3.bmp   30 kiB
folder2/file4.jpg    8 kiB

Ist es möglich, eine Liste der gesamten Dateigröße pro Dateierweiterung zu erstellen?

bmp 70 kiB
jpg 28 kiB

Dateien ohne Erweiterung interessieren mich nicht, daher können sie ignoriert oder in eine Kategorie eingeordnet werden.

Ich ging bereits durch die Menschen Seiten ls, duund find, aber ich weiß nicht , was das richtige Werkzeug für diesen Job ist ...

Auf einem GNU-System:

find . -name '?*.*' -type f -printf '%b.%f\0' |
  awk -F . -v RS='\0' '
    {s[$NF] += $1; n[$NF]++}
    END {for (e in s) printf "%15d %4d %s\n", s[e]*512, n[e], e}' |
  sort -n

Oder das Gleiche mit der perlVermeidung der -printfErweiterung von GNU find(verwendet immer noch eine GNU-Erweiterung -print0, aber diese wird heutzutage allgemeiner unterstützt):

find . -name '?*.*' -type f -print0 |
  perl -0ne '
    if (@s = stat$_){
      ($ext = $_) =~ s/.*\.//s;
      $s{$ext} += $s[12];
      $n{$ext}++;
    }
    END {
      for (sort{$s{$a} <=> $s{$b}} keys %s) {
        printf "%15d %4d %s\n",  $s{$_}<<9, $n{$_}, $_;
      }
    }'

Es gibt eine Ausgabe wie:

          12288    1 pnm
          16384    4 gif
         204800    2 ico
        1040384   17 jpg
        2752512   83 png

Wenn Sie möchten KiB, MiB... Suffixe, leiten Sie an numfmt --to=iec-i --suffix=B.

%b*512Gibt die Festplattennutzung an. Beachten Sie jedoch, dass Dateien, die mehrmals fest verknüpft sind, mehrmals gezählt werden, sodass möglicherweise eine Diskrepanz mit den duBerichten auftritt.

Hier ist eine andere Lösung:

find . -type f |  egrep -o "\.[a-zA-Z0-9]+$" | sort -u | xargs -I '%' find . -type f -name "*%" -exec du -ch {} + -exec echo % \; | egrep "^\.[a-zA-Z0-9]+$|total$" | uniq | paste - -

Der Teil, der die Erweiterungen erhält, ist:

find . -type f |  egrep -o "\.[a-zA-Z0-9]+$" | sort -u

Suchen Sie als nächstes nach den Dateien mit einer Erweiterung und drucken Sie sie auch auf dem Bildschirm aus:

xargs -I '%' find . -type f -name "*%" -exec du -ch {} + -exec echo % \;

Als nächstes wollen wir die Erweiterung und die Summe behalten:

egrep "^\.[a-zA-Z0-9]+$|total$" | uniq

und halten Sie es in der gleichen Zeile:

paste - -

Nicht so schön wie Stephanes Lösung, aber Sie könnten es versuchen

find . -type f -name "*.png" -print0 | xargs -0r du -ch | tail -n1

Hier müssen Sie dies für jeden Dateityp ausführen.