Wie erstelle ich eine Datei vom Terminal aus, indem ich eine Reihe von Wörtern unendlich wiederhole?

Wie erstelle ich eine Datei vom Terminal aus, indem ich eine Reihe von Wörtern unendlich wiederhole? Ich brauche es, um eine riesige Datei für Analysezwecke wie 2-4 GB Größe zu erstellen. Gegenwärtig kopiere ich manuell das Einfügen von Zeilen in dieselbe Datei, um die Größe zu erhöhen.

Es gibt eine einfache Möglichkeit, eine Zeile viele Male zu wiederholen:

yes we have no bananas | head -n 10000 > out.txt

Das Ergebnis ist out.txt mit 10.000 Zeilen, in denen "Wir haben keine Bananen" steht.

Um die Ausgabe auf eine genaue Anzahl von Bytes zu beschränken, verwenden Sie headdie -cOption 's' anstelle von -n. Dies erzeugt zum Beispiel genau 10 kB Text:

yes we have no bananas | head -c 10000 > out.txt

Ich kann nicht empfehlen , Text unendlich zu wiederholen, aber Sie könnten mit Python eine ~ 2-GB-Datei mit wiederholtem Text wie folgt erstellen ...

python3 -c 'with open("bigfile", "w") as f: f.write(("hello world "*10+"\n")*2*10**7)'

Dadurch wird 10 Mal "Hallo Welt" gedruckt, eine neue Zeile erstellt und diese 20.000.000 Mal wiederholt, wobei das Ergebnis in die Datei geschrieben wird bigfile. Wenn alle Ihre Zeichen ASCII-Zeichen sind, entspricht jedes einem Byte. Berechnen Sie also entsprechend den Angaben, die Sie schreiben möchten.

Ihre CPU kann im Besitz sein. Mir geht der Arbeitsspeicher aus, wenn ich versuche, mehr als 10.000.000 Zeilen zu schreiben ...

_{Ich lasse zwar einen Toaster laufen}

Perl hat den cleveren xOperator:

$ perl -e 'print "foo\n" x 5'
foo
foo
foo
foo
foo

Als einfache Lösung können Sie Ihre Zeile also ein paar Millionen Mal schreiben. Mit diesem Befehl wurde beispielsweise eine 3G-Datei erstellt:

perl -e 'print "This is my line\n" x 200000000' > file

Wenn Sie eine genaue Größe angeben müssen (in diesem Fall 2 GiB), können Sie Folgendes tun:

perl -e 'use bytes; while(length($str)<2<<20){ $str.="This is my line\n"} print "$str\n"' > file

• Fügen Sie die zu wiederholenden Wörter in eine Datei ein, z source.txt. Holen Sie sich die Größe der source.txt, in Bytes zB durch:

   stat -c '%s' source.txt
  

• Legen Sie die Größe der Zieldatei fest, z. B. destination.txt2 GB oder 4 GB oder was auch immer. Konvertieren Sie die Größe in Bytes.

• Teilen Sie die Größe der Zieldatei durch die Größe der Quelldatei. bashFließkomma-Arithmetik ist nicht möglich, wird aber in diesem Fall nicht benötigt.

• Verwenden Sie ein forKonstrukt, um eine cat source.txtOperation die Divisionsergebniszeiten zu wiederholen . Dies entspricht in etwa der Größe der Zieldatei, die Sie durch Wiederholung erhalten können. Die Ausgabe der Operation wird in gespeichert destination.txt.

Angenommen, die Größe source.txtbeträgt 30 Byte, und wir möchten eine 2-GB-Datei erstellen, dann benötigen wir:

for ((i=0; i<=((16777216/30)); i++)); do cat source.txt; done >destination.txt

Hier setze ich die Obergrenze zum ((16777216/30))Zeitpunkt der Initialisierung; Sie können das Ergebnis auch hier abrufen.

Die Operation würde einige Zeit dauern; Je größer source.txt, desto weniger Zeit wird benötigt.

Sie können auch eine while-Schleife verwenden.

Beispiel: Inhalt von foo.txt(Dies ist Ihre Quelle):

foo
bar
foobar

bar.txtist leer (Dies ist Ihre Zieldatei). Sie können jetzt die folgende Schleife verwenden, um den Inhalt foo.txtmehrmals zu schreiben bar.txt:

while [ $(stat --format "%s" bar.txt) -lt 150 ] 
do 
    cat foo.txt >> bar.txt
done

Erläuterung:

• stat --format "%s" bar.txtZeigt die Größe bar.txtin Bytes an.
• while [ $(stat --format "%s" bar.txt) -lt 150 ] Die folgenden Aktionen werden wiederholt, bis die Zielgröße (in diesem Fall 150 Byte) erreicht ist.
• cat foo.txt >> bar.txtfüge den Inhalt von foo.txtanbar.txt

Feuer zuerst den Befehl:

dd if=/dev/urandom of=file.txt bs=2048 count=10

erstellt eine Datei auf einem Pfad der Größe bs * count zufällige Bytes, in unserem Fall 2048 * 10 = 20 KB. das kann je nach Anforderung geändert werden.

cat - > file.txt

Dieser Befehl leitet STDIN in eine Datei um. Sie müssen also zwei Zeilen eingeben und dann Strg + D drücken. Dann müssen Sie den folgenden Befehl ausführen:

for i in {1..n}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Wobei n eine ganze Zahl ist. Dadurch wird eine Datei mit 2 ^ (n + 1) Zeilen erstellt, indem die ursprünglichen zwei Zeilen dupliziert werden. So erstellen Sie eine Datei mit 16 Zeilen:

for i in {1..3}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Hier sind einige weitere Zahlen, die Ihnen den Einstieg erleichtern sollen:

n=15 will give you 65536 lines (if the original two lines were 'hello' and 'world' the file will be 384Kb)
n=20 will give you 2097152 lines (12Mb file with 'hello' and 'world' as the two starting lines)
n=25 will give you 67108864 lines (384Mb file with 'hello' and 'world' as the two starting lines)

FIFOs sind wahrscheinlich das, wonach Sie suchen. Anstatt Ihr Programm mit einer bestimmten Datei aufzurufen, können Sie das Ergebnis eines Shell-Befehls über die Prozesssubstitution an das Programm binden, und das Programm sieht seine Ausgabe als Klartextdatei. Der Vorteil hierbei ist, dass Sie nicht mehr an Ihren Festplattenspeicher gebunden sind, sodass Sie Dateigrößen erreichen können, die andernfalls unmöglich wären, solange Ihr Programm nicht die gesamte Datei zuerst puffern und sie einfach zeilenweise analysieren muss. Verwenden Sie zum Beispiel die Antwort von @hobbs, um Inhalte zu generieren:

wc -c <(yes we have no bananas | head -n 5000000000)

Dies verleiht mir eine 95-Gigabyte-Datei (laut wc) ohne Kosten auf der Festplatte und kaum RAM, gerade genug, um das, was der Befehl zurückgibt, zu puffern, bevor es gelesen wird. Dies ist ungefähr so ​​nah an "unendlich", wie Sie bekommen werden.