dd erstellt eine 32 MB große Zufallsdatei anstelle von 1 GB

Ich wollte eine 1-GB-Zufallsdatei erstellen und habe den folgenden Befehl verwendet.

dd if=/dev/urandom of=output bs=1G count=1

Stattdessen erhalte ich jedes Mal, wenn ich diesen Befehl starte, eine 32-MB-Datei:

<11:58:40>$ dd if=/dev/urandom of=output bs=1G count=1
0+1 records in
0+1 records out
33554431 bytes (34 MB, 32 MiB) copied, 0,288321 s, 116 MB/s

Was ist falsch?

BEARBEITEN:

Dank großartiger Antworten in diesem Thema kam ich mit einer Lösung, die 32 Chunks mit einer Größe von 32 MB liest und 1 GB ergibt:

dd if=/dev/urandom of=output bs=32M count=32

Es wurde eine andere Lösung angegeben, die 1 GB direkt in den Speicher liest und dann auf die Festplatte schreibt. Diese Lösung benötigt viel Speicher und wird daher nicht bevorzugt:

dd if=/dev/urandom of=output bs=1G count=1 iflag=fullblock

bsDie Puffergröße bezeichnet die Größe eines einzelnen read () - Aufrufs von dd.

(Beide bs=1M count=1und bs=1k count=1kführen beispielsweise zu einer 1-MiB-Datei, die erste Version erledigt dies jedoch in einem Schritt, die zweite in 1024 kleinen Blöcken.)

Normale Dateien können mit nahezu jeder Puffergröße gelesen werden (solange dieser Puffer in den Arbeitsspeicher passt), aber Geräte und "virtuelle" Dateien arbeiten häufig sehr nahe an den einzelnen Aufrufen und unterliegen einer willkürlichen Einschränkung der Datenmenge, die sie pro Aufruf erzeugen read () Aufruf.

Für /dev/urandomist dieses Limit in urandom_read () in drivers / char / random.c definiert :

#define ENTROPY_SHIFT 3

static ssize_t
urandom_read(struct file *file, char __user *buf, size_t nbytes, loff_t *ppos)
{
    nbytes = min_t(size_t, nbytes, INT_MAX >> (ENTROPY_SHIFT + 3));
    ...
}

Dies bedeutet, dass bei jedem Aufruf der Funktion die angeforderte Größe auf 33554431 Byte begrenzt wird.

Im Gegensatz zu den meisten anderen Tools wird dd standardmäßig keine Neuversuche durchführen, nachdem weniger Daten als angefordert empfangen wurden - Sie erhalten die 32 MiB und das wars. (Damit es automatisch wiederholt wird, müssen Sie wie in Kamils ​​Antwort angeben iflag=fullblock.)

Beachten Sie auch, dass "die Größe eines einzelnen read ()" bedeutet, dass der gesamte Puffer auf einmal in den Speicher passen muss, sodass massive Blockgrößen auch einer massiven Speichernutzung durch dd entsprechen .

Und es ist alles sinnlos, weil Sie normalerweise keine Leistung erzielen, wenn Sie über ~ 16–32 MiB-Blöcke hinausgehen - Syscalls sind hier nicht der langsame Teil, sondern der Zufallsgenerator.

Also der Einfachheit halber einfach benutzen head -c 1G /dev/urandom > output.

ddkann kleiner sein als ibs(Anmerkung: bsgibt beides ibsund an obs), sofern iflag=fullblocknicht anders angegeben. 0+1 records inzeigt an, dass 0vollständige und 1teilweise Blöcke gelesen wurden. Jeder vollständige oder teilweise Block erhöht jedoch den Zähler.

Ich kenne nicht den genauen Mechanismus, der das ddLesen eines Blocks bewirkt, der kleiner ist als 1Gin diesem speziellen Fall. Ich vermute, ein Block wird vor dem Schreiben in den Speicher gelesen, sodass die Speicherverwaltung möglicherweise stört (dies ist jedoch nur eine Vermutung). Bearbeiten: Diese gleichzeitige Antwort erklärt den Mechanismus, mit dem ddein Block gelesen wird, der kleiner ist als 1Gin diesem speziellen Fall.

Jedenfalls empfehle ich nicht so groß bs. Ich würde verwenden bs=1M count=1024. Das Wichtigste ist: Ohne iflag=fullblock einen Leseversuch kann weniger als gelesen werden ibs(es sei denn ibs=1, ich denke, dies ist recht ineffizient).

Wenn Sie also eine genaue Datenmenge lesen müssen, verwenden Sie iflag=fullblock. Hinweis iflagwird von POSIX nicht benötigt, ddmöglicherweise wird dies nicht unterstützt. Nach dieser Antwort ibs=1 ist wahrscheinlich die einzige POSIX-Methode, um eine genaue Anzahl von Bytes zu lesen. Wenn Sie sich ändern, müssen ibsSie das natürlich neu berechnen count. In Ihrem Fall wird das Problem wahrscheinlich auch ohne eine Senkung ibsauf 32Moder weniger behoben iflag=fullblock.

In meinem Kubuntu würde ich deinen Befehl so korrigieren:

dd if=/dev/urandom of=output bs=1M count=1024 iflag=fullblock