Auf der Suche nach Speicherplatz unter Linux?

Bei der Verwaltung von Linux-Systemen fällt es mir oft schwer, den Schuldigen aufzuspüren, nachdem eine Partition voll ist. Ich verwende normalerweise, du / | sort -nraber auf einem großen Dateisystem dauert es lange, bis Ergebnisse zurückgegeben werden.

Auch dies ist normalerweise erfolgreich bei der Hervorhebung des schlimmsten Täters, aber ich habe oft auf das zurückgegriffen, duohne dass dies sort in subtileren Fällen der Fall war, und musste dann die Ausgabe durchforsten.

Ich würde eine Befehlszeilenlösung bevorzugen, die sich auf Standard-Linux-Befehle stützt, da ich einige Systeme verwalten muss und die Installation neuer Software mühsam ist (insbesondere, wenn nicht genügend Speicherplatz vorhanden ist!).

Versuchen Sie es ncdumit einem hervorragenden Befehlszeilen-Datenträgernutzungsanalysator:

Gehen Sie nicht direkt zu du /. Verwenden Sie dfdie Partition zu finden , die Sie weh, und dann versuchen , duBefehle.

Eine, die ich gerne probiere, ist

# U.S.
du -h <dir> | grep '[0-9\.]\+G'
# Others
du -h <dir> | grep '[0-9\,]\+G'

weil es Größen in "lesbarer Form" druckt. Wenn Sie keine wirklich kleinen Partitionen haben, ist das Greifen nach Verzeichnissen in Gigabyte ein ziemlich guter Filter für das, was Sie wollen. Dies wird einige Zeit in Anspruch nehmen, aber wenn Sie keine Quoten festgelegt haben, ist es meiner Meinung nach genau so.

Wie @jchavannes in den Kommentaren ausführt, kann der Ausdruck präziser werden, wenn Sie zu viele falsche Positive finden. Ich habe den Vorschlag übernommen, der es besser macht, aber es gibt immer noch falsche Positive, so dass es nur Kompromisse gibt (einfacher Ausdruck, schlechtere Ergebnisse; komplexer und länger Ausdruck, bessere Ergebnisse). Wenn in Ihrer Ausgabe zu viele kleine Verzeichnisse angezeigt werden, passen Sie Ihren regulären Ausdruck entsprechend an. Zum Beispiel,

grep '^\s*[0-9\.]\+G'

ist noch genauer (es werden keine <1GB Verzeichnisse aufgelistet).

Wenn Sie tun Quoten haben, können Sie

quota -v

um Benutzer zu finden, die die Festplatte blockieren.

Verwenden Sie für einen ersten Blick die Übersichtsansicht von du:

du -s /*

Der Effekt besteht darin, die Größe jedes seiner Argumente zu drucken, dh jeden Stammordner im obigen Fall.

Außerdem können sowohl GNUdu als auch BSDdu in der Tiefe eingeschränkt sein ( POSIX dujedoch nicht! ):

• GNU (Linux,…):

  du --max-depth 3

• BSD (macOS,…):

  du -d 3
  

Dadurch wird die Ausgabeanzeige auf Tiefe 3 begrenzt. Die berechnete und angezeigte Größe ist natürlich immer noch die Gesamtsumme der vollen Tiefe. Trotzdem beschleunigt die Einschränkung der Anzeigetiefe die Berechnung drastisch.

Eine weitere hilfreiche Option ist -h(Wörter sowohl auf GNU als auch auf BSD, aber auch nicht nur auf POSIX du) für eine "lesbare" Ausgabe (dh unter Verwendung von KiB, MiB usw. ).

Sie können auch den folgenden Befehl ausführen du:

~# du -Pshx /* 2>/dev/null

• Die -sOption fasst die Summe für jedes Argument zusammen und zeigt sie an.
• h druckt Mio, Gio usw.
• x = in einem Dateisystem bleiben (sehr nützlich).
• P = Verfolge keine Symlinks (was dazu führen kann, dass Dateien zum Beispiel zweimal gezählt werden).

Seien Sie vorsichtig, das /rootVerzeichnis wird nicht angezeigt, Sie müssen es ausführen ~# du -Pshx /root 2>/dev/null, um es zu erhalten /root.

Bearbeiten: Korrigierte Option -P

Das Finden der größten Dateien im Dateisystem wird immer viel Zeit in Anspruch nehmen. Per Definition müssen Sie das gesamte Dateisystem nach großen Dateien durchsuchen. Die einzige Lösung ist wahrscheinlich, einen Cron-Job auf allen Ihren Systemen auszuführen, um die Datei im Voraus bereit zu haben.

Eine andere Sache, die x-Option von du, ist nützlich, um du davon abzuhalten, Mount-Punkten in andere Dateisysteme zu folgen. Dh:

du -x [path]

Der vollständige Befehl, den ich normalerweise ausführe, lautet:

sudo du -xm / | sort -rn > usage.txt

Das -mbedeutet, dass die Ergebnisse in Megabyte zurückgegeben werden und sort -rndie größte Zahl der Ergebnisse zuerst sortiert wird. Anschließend können Sie die Datei usage.txt in einem Editor öffnen. Die größten Ordner (beginnend mit /) befinden sich oben.

Ich benutze immer du -sm * | sort -n, was Ihnen eine sortierte Liste gibt, wie viel die Unterverzeichnisse des aktuellen Arbeitsverzeichnisses in Mebibyte verbrauchen.

Sie können auch Konqueror ausprobieren, das über einen "Größenansichts" -Modus verfügt, der dem von WinDirStat unter Windows ähnelt: Er gibt Ihnen einen Überblick darüber, welche Dateien / Verzeichnisse den größten Teil Ihres Speicherplatzes belegen.

Update: In neueren Versionen können Sie auch verwenden du -sh * | sort -h, um lesbare Dateigrößen anzuzeigen und nach diesen zu sortieren. (Zahlen werden mit K, M, G, ... angefügt)

Wenn Sie nach einer Alternative zu KDE3s Konqueror-Dateigrößenansicht suchen, sehen Sie sich vielleicht filelight an, obwohl es nicht ganz so schön ist.

Ich benutze dies für die 25 schlimmsten Täter unterhalb des aktuellen Verzeichnisses

# -S to not include subdir size, sorted and limited to top 25
du -S . | sort -nr | head -25

Bei einer früheren Firma hatten wir einen Cron-Job, der über Nacht ausgeführt wurde und alle Dateien über eine bestimmte Größe identifizierte, z

find / -size + 10000k

Möglicherweise möchten Sie die Verzeichnisse, in denen Sie suchen, genauer auswählen und auf remote bereitgestellte Laufwerke achten, die möglicherweise offline geschaltet werden.

Eine Möglichkeit wäre, den Befehl du / sort als Cron-Job auszuführen und in eine Datei auszugeben, damit er bei Bedarf bereits vorhanden ist.

Für die Kommandozeile halte ich die du / sort-Methode für die beste. Wenn Sie nicht auf einem Server sind, sollten Sie sich Baobab - Disk usage analyzer ansehen . Die Ausführung dieses Programms nimmt ebenfalls einige Zeit in Anspruch, aber Sie können das Unterverzeichnis leicht finden, wo sich alle alten Linux-ISOs befinden.

ich benutze

du -ch --max-depth=2 .

und ich ändere die maximale Tiefe, um sie meinen Bedürfnissen anzupassen. Mit der Option "c" werden die Gesamtsummen für die Ordner gedruckt, und mit der Option "h" werden die Größen in K, M oder G entsprechend gedruckt. Wie bereits erwähnt, werden weiterhin alle Verzeichnisse durchsucht, die Ausgabe wird jedoch so eingeschränkt, dass die großen Verzeichnisse leichter zu finden sind.

Ich werde Zweiter xdiskusage. Aber ich werde in dem Hinweis hinzufügen, dass es sich tatsächlich um ein du-Frontend handelt und die du-Ausgabe aus einer Datei lesen kann. So können Sie du -ax /home > ~/home-duauf Ihrem Server scpdie Datei zurück ausführen und sie anschließend grafisch analysieren. Oder leiten Sie es durch ssh.

Versuchen Sie, die Ausgabe von du in ein einfaches awk-Skript einzugeben, das überprüft, ob die Größe des Verzeichnisses einen bestimmten Schwellenwert überschreitet. Wenn dies der Fall ist, wird es gedruckt. Sie müssen nicht warten, bis der gesamte Baum durchlaufen wurde, bevor Sie Informationen abrufen (im Gegensatz zu vielen anderen Antworten).

Im Folgenden werden beispielsweise alle Verzeichnisse angezeigt, die mehr als 500 MB belegen.

du -kx / | awk '{ if ($1 > 500000) { print $0} }'

Um die Wiederverwendbarkeit zu verbessern, können Sie eine Funktion in Ihrem .bashrc definieren (oder es in ein eigenständiges Skript umwandeln).

dubig() {
    [ -z "$1" ] && echo "usage: dubig sizethreshMB [dir]" && return
    du -kx $2 | awk '{ if ($1 > '$1'*1024) { print $0} }'
}

So dubig 200 ~/sucht man unter dem Homeverzeichnis (ohne Symlinks vom Gerät zu folgen) nach Verzeichnissen, die mehr als 200 MB belegen.

Ich mag den guten alten xdiskusage als grafische Alternative zu du (1).

Ich bevorzuge Folgendes, um mir einen Überblick zu verschaffen und von dort aus einen Drilldown durchzuführen ...

cd /folder_to_check
du -shx */

Hiermit werden Ergebnisse mit lesbarer Ausgabe wie GB, MB angezeigt. Es verhindert auch das Durchlaufen von entfernten Dateisystemen. Die -sOption zeigt nur eine Zusammenfassung der gefundenen Ordner an, sodass Sie bei Interesse an weiteren Details eines Ordners einen Drilldown durchführen können. Beachten Sie, dass in dieser Lösung nur Ordner angezeigt werden und Sie daher das / nach dem Sternchen weglassen möchten, wenn Sie auch Dateien möchten.

Hier nicht erwähnt, aber Sie sollten auch lsof im Falle von gelöschten / hängenden Dateien überprüfen. Ich hatte eine 5,9 GB gelöschte tmp-Datei von einem weggelaufenen Cronjob.

https://serverfault.com/questions/207100/how-can-i-find-phantom-storage-usage Hat mir geholfen, den Prozessbesitzer dieser Datei (cron) zu finden, und dann konnte ich /proc/{cron id}/fd/{file handle #}die Datei in weniger bekommen Frage, um den Anfang des Laufs zu machen, löse das Problem und "" sende ein Echo, um Speicherplatz freizugeben und cron sich anmutig schließen zu lassen.

Über das Terminal erhalten Sie eine visuelle Darstellung der Festplattennutzung mit dutree

Es ist sehr schnell und leicht, da es in Rust implementiert ist

$ dutree -h
Usage: dutree [options] <path> [<path>..]

Options:
    -d, --depth [DEPTH] show directories up to depth N (def 1)
    -a, --aggr [N[KMG]] aggregate smaller than N B/KiB/MiB/GiB (def 1M)
    -s, --summary       equivalent to -da, or -d1 -a1M
    -u, --usage         report real disk usage instead of file size
    -b, --bytes         print sizes in bytes
    -f, --files-only    skip directories for a fast local overview
    -x, --exclude NAME  exclude matching files or directories
    -H, --no-hidden     exclude hidden files
    -A, --ascii         ASCII characters only, no colors
    -h, --help          show help
    -v, --version       print version number

Alle Einzelheiten zur Verwendung finden Sie auf der Website

Für die Kommandozeile scheint du (und seine Optionen) der beste Weg zu sein. DiskHog verwendet anscheinend auch du / df-Informationen aus einem Cron-Job, sodass Peters Vorschlag wahrscheinlich die beste Kombination aus einfach und effektiv ist.

( FileLight und KDirStat sind ideal für die grafische Benutzeroberfläche .)

Sie können Standardwerkzeuge wie findund verwenden sort, um Ihre Speicherplatznutzung zu analysieren.

Listen Sie die Verzeichnisse nach ihrer Größe sortiert auf:

find / -mount -type d -exec du -s "{}" \; | sort -n

Liste Dateien sortiert nach ihrer Größe:

find / -mount -printf "%k\t%p\n" | sort -n

Vielleicht ist zu beachten, dass mc(Midnight Commander, ein klassischer Textmodus-Dateimanager) standardmäßig nur die Größe der Verzeichnis-Inodes anzeigt (normalerweise 4096), aber mit CtrlSpaceoder mit dem Menü Extras können Sie den vom ausgewählten Verzeichnis belegten Speicherplatz in einer für Menschen lesbaren Form anzeigen Format (zB einige mögen 103151M).

Zum Beispiel zeigt das Bild unten die volle Größe der Vanille TeX Live-Distributionen von 2018 und 2017, während die Versionen von 2015 und 2016 nur die Größe der Inode zeigen (aber sie haben wirklich in der Nähe von jeweils 5 GB).

Das heißt, es CtrlSpacemuss eins nach dem anderen durchgeführt werden, nur für die aktuelle Verzeichnisebene, aber es ist so schnell und praktisch, wenn Sie damit navigieren, mcdass Sie es möglicherweise nicht benötigen ncdu(das ist in der Tat nur für diesen Zweck besser). Sie können aber auch laufen ncduaus mc. ohne zu beenden mcoder ein anderes Terminal zu starten.

Zuerst überprüfe ich die Größe der Verzeichnisse wie folgt:

du -sh /var/cache/*/

Wenn Sie wissen, dass die großen Dateien in den letzten Tagen hinzugefügt wurden (z. B. 3), können Sie einen Suchbefehl in Verbindung mit " ls -ltra" verwenden, um die kürzlich hinzugefügten Dateien zu ermitteln:

find /some/dir -type f -mtime -3 -exec ls -lart {} \;

Dadurch erhalten Sie nur die Dateien (" -type f"), keine Verzeichnisse. nur die Dateien mit Änderungszeit in den letzten 3 Tagen (" -mtime -3") und " ls -lart" für jede gefundene Datei (" -exec" Teil) ausführen .

Um zu verstehen, wie viel Speicherplatz überproportional belegt ist, ist es oft nützlich, im Stammverzeichnis zu beginnen und einige der größten untergeordneten Elemente zu durchsuchen.

Wir können dies tun, indem wir

• Speichern Sie die Ausgabe von du in eine Datei
• Das Ergebnis iterativ durchgehen

Das ist:

# sum up the size of all files and directories under the root filesystem
du -a -h -x / > disk_usage.txt
# display the size of root items
grep $'\t/[^/]*$' disk_usage.txt

Sagen wir jetzt, / usr erscheint zu groß

# display the size of /usr items
grep $'\t/usr/[^/]*$' disk_usage.txt

Jetzt, wenn / usr / local verdächtig groß ist

# display the size /usr/local items
grep $'\t/usr/local/[^/]*$' disk_usage.txt

und so weiter...

Ich habe diesen Befehl verwendet, um Dateien zu finden, die größer als 100 MB sind:

find / -size +100M -exec ls -l {} \;

Ich hatte Erfolg darin, die schlimmsten Täter aufzuspüren, die die duAusgabe in lesbarer Form egrepan einen regulären Ausdruck weitergaben und mit diesem übereinstimmten.

Zum Beispiel:

du -h | egrep "[0-9]+G.*|[5-9][0-9][0-9]M.*"

das sollte dir alles 500 megs oder mehr zurückgeben.

Wenn Sie Geschwindigkeit wünschen, können Sie Kontingente für die zu überwachenden Dateisysteme aktivieren (Sie müssen keine Kontingente für einen Benutzer festlegen) und ein Skript verwenden, das mit dem Befehl quota den von jedem Benutzer verwendeten Speicherplatz auflistet. Zum Beispiel:

quota -v $user | grep $filesystem | awk '{ print $2 }'

würde Ihnen die Festplattennutzung in Blöcken für den bestimmten Benutzer auf dem bestimmten Dateisystem geben. Auf diese Weise sollten Sie in der Lage sein, Verwendungen in Sekundenschnelle zu überprüfen.

Um Quoten zu aktivieren, müssen Sie usrquota zu den Dateisystemoptionen in Ihrer / etc / fstab-Datei hinzufügen und dann wahrscheinlich neu starten, damit quotacheck auf einem inaktiven Dateisystem ausgeführt werden kann, bevor quotaon aufgerufen wird.

Hier ist eine winzige App, die mithilfe von Deep Sampling nach Tumoren auf einer Festplatte oder in einem Verzeichnis sucht. Der Verzeichnisbaum wird zweimal durchlaufen, einmal, um ihn zu messen, und das zweite Mal, um die Pfade zu 20 "zufälligen" Bytes unter dem Verzeichnis auszudrucken.

void walk(string sDir, int iPass, int64& n, int64& n1, int64 step){
    foreach(string sSubDir in sDir){
        walk(sDir + "/" + sSubDir, iPass, n, n1, step);
    }
    foreach(string sFile in sDir){
        string sPath = sDir + "/" + sFile;
        int64 len = File.Size(sPath);
        if (iPass == 2){
            while(n1 <= n+len){
               print sPath;
               n1 += step;
            }
        }
        n += len;
    }
}

void dscan(){
    int64 n = 0, n1 = 0, step = 0;
    // pass 1, measure
    walk(".", 1, n, n1);
    print n;
    // pass 2, print
    step = n/20; n1 = step/2; n = 0;
    walk(".", 2, n, n1);
    print n;
}

Die Ausgabe für mein Programmverzeichnis sieht folgendermaßen aus:

 7,908,634,694
.\ArcSoft\PhotoStudio 2000\Samples\3.jpg
.\Common Files\Java\Update\Base Images\j2re1.4.2-b28\core1.zip
.\Common Files\Wise Installation Wizard\WISDED53B0BB67C4244AE6AD6FD3C28D1EF_7_0_2_7.MSI
.\Insightful\splus62\java\jre\lib\jaws.jar
.\Intel\Compiler\Fortran\9.1\em64t\bin\tselect.exe
.\Intel\Download\IntelFortranProCompiler91\Compiler\Itanium\Data1.cab
.\Intel\MKL\8.0.1\em64t\bin\mkl_lapack32.dll
.\Java\jre1.6.0\bin\client\classes.jsa
.\Microsoft SQL Server\90\Setup Bootstrap\sqlsval.dll
.\Microsoft Visual Studio\DF98\DOC\TAPI.CHM
.\Microsoft Visual Studio .NET 2003\CompactFrameworkSDK\v1.0.5000\Windows CE\sqlce20sql2ksp1.exe
.\Microsoft Visual Studio .NET 2003\SDK\v1.1\Tool Developers Guide\docs\Partition II Metadata.doc
.\Microsoft Visual Studio .NET 2003\Visual Studio .NET Enterprise Architect 2003 - English\Logs\VSMsiLog0A34.txt
.\Microsoft Visual Studio 8\Microsoft Visual Studio 2005 Professional Edition - ENU\Logs\VSMsiLog1A9E.txt
.\Microsoft Visual Studio 8\SmartDevices\SDK\CompactFramework\2.0\v2.0\WindowsCE\wce500\mipsiv\NETCFv2.wce5.mipsiv.cab
.\Microsoft Visual Studio 8\VC\ce\atlmfc\lib\armv4i\UafxcW.lib
.\Microsoft Visual Studio 8\VC\ce\Dll\mipsii\mfc80ud.pdb
.\Movie Maker\MUI\0409\moviemk.chm
.\TheCompany\TheProduct\docs\TheProduct User's Guide.pdf
.\VNI\CTT6.0\help\StatV1.pdf
7,908,634,694

Es sagt mir, dass das Verzeichnis 7,9 GB ist, von denen

• ~ 15% gehen an den Intel Fortran Compiler
• ~ 15% gehen an VS .NET 2003
• ~ 20% gehen an VS 8

Es ist einfach genug zu fragen, ob eines davon entladen werden kann.

Außerdem werden Dateitypen beschrieben, die über das Dateisystem verteilt sind, zusammengenommen jedoch eine Möglichkeit zur Platzersparnis darstellen:

• ~ 15% gehen ungefähr in CAB- und MSI-Dateien
• ~ 10% werden ungefähr für die Protokollierung von Textdateien verwendet

Es zeigt auch viele andere Dinge, auf die ich wahrscheinlich verzichten könnte, wie die Unterstützung von "SmartDevices" und "ce" (~ 15%).

Es dauert zwar linear, muss aber nicht oft durchgeführt werden.

Beispiele für Dinge, die es gefunden hat:

• Sicherungskopien von DLLs in vielen gespeicherten Code-Repositorys, die nicht wirklich gespeichert werden müssen
• Eine Sicherungskopie der Festplatte einer anderen Person auf dem Server in einem undurchsichtigen Verzeichnis
• umfangreiche temporäre Internetdateien
• alte Doc- und Hilfedateien, die längst nicht mehr benötigt wurden

Ich hatte ein ähnliches Problem, aber die Antworten auf dieser Seite reichten nicht aus. Ich fand den folgenden Befehl am nützlichsten für die Auflistung:

du -a / | sort -n -r | head -n 20

Welches würde mir die 20 größten Übeltäter zeigen. Obwohl ich dies ausgeführt habe, wurde mir das eigentliche Problem nicht angezeigt, da ich die Datei bereits gelöscht hatte. Der Haken war, dass es noch einen Prozess gab, der auf die gelöschte Protokolldatei verwies ... also musste ich diesen Prozess zuerst beenden, dann wurde der Speicherplatz als frei angezeigt.

Sie können DiskReport.net verwenden , um einen Online- Webbericht aller Ihrer Festplatten zu erstellen.

Bei vielen Läufen wird ein Verlaufsdiagramm für alle Ordner angezeigt, mit dem Sie leicht feststellen können, was gewachsen ist

Es gibt eine schöne plattformübergreifende Freeware namens JDiskReport, die eine grafische Benutzeroberfläche enthält, um herauszufinden , was den gesamten Speicherplatz einnimmt .

Beispiel-Screenshot:

Natürlich müssen Sie ein wenig Speicherplatz manuell freimachen, bevor Sie ihn herunterladen und installieren oder auf ein anderes Laufwerk (z. B. einen USB-Stick) herunterladen können.

(Hierher kopiert von der Antwort desselben Autors auf eine doppelte Frage)