Angenommen, ich habe eine große Textdatei (> 2 GB) und möchte nur catdie Zeilen Xan Y(z. B. 57890000 bis 57890010). Soweit ich weiß, kann ich dies durch Piping headin tailoder umgekehrt tun, d. H head -A /path/to/file | tail -B oder alternativ tail -C /path/to/file | head -D wobei A, B, Cund...
Eine riesige (bis zu 2 GiB) Textdatei von mir enthält ungefähr 100 exakte Duplikate jeder Zeile (in meinem Fall nutzlos, da die Datei eine CSV-ähnliche Datentabelle ist). Was ich brauche, ist, alle Wiederholungen zu entfernen, während (vorzugsweise, aber dies kann für einen signifikanten...
Ich habe eine riesige (70 GB), einzeilige Textdatei und möchte eine Zeichenfolge (Token) ersetzen. Ich möchte das Token <unk>durch ein anderes Dummy-Token ersetzen ( Handschuhproblem ). Ich habe versucht sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new aber die...
Ich habe eine ziemlich große Datei (35 GB) und möchte diese Datei in situ filtern (dh ich habe nicht genügend Speicherplatz für eine andere Datei). Insbesondere möchte ich einige Muster prüfen und ignorieren - gibt es eine Möglichkeit dazu? Tun Sie dies, ohne eine andere Datei zu verwenden?...
Ich habe zwei große Dateien (jeweils 6 GB). Sie sind unsortiert, mit Zeilenvorschüben ( \n) als Trennzeichen. Wie kann ich sie unterscheiden? Es sollte unter 24 Stunden
Ich habe es mit SCP versucht, aber es steht "Negative Dateigröße". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Auch versucht mit SFTP, funktionierte gut, bis 2 GB der Datei übertragen worden waren, dann gestoppt: sftp> put matlab.iso Uploading matlab.iso to...
Ich habe 25 GB Textdatei, die eine Zeichenfolge in nur wenigen Zeilen ersetzt werden muss. Ich kann sederfolgreich verwenden, aber das Ausführen dauert sehr lange. sed -i 's|old text|new text|g' gigantic_file.sql Gibt es einen schnelleren Weg, dies zu
Ich habe ein Verzeichnis mit ca. 100000 kleinen Dateien (jede Datei besteht aus 1-3 Zeilen, jede Datei ist eine Textdatei). In der Größe ist das Verzeichnis nicht sehr groß (<2 GB). Diese Daten befinden sich auf einem professionell verwalteten NFS-Server. Auf dem Server läuft Linux. Ich denke,...
Ich habe eine 900-GB- ext4Partition auf einer (magnetischen) Festplatte, die keine Defekte und keine fehlerhaften Sektoren aufweist. Die Partition ist bis auf ein leeres lost+foundVerzeichnis vollständig leer . Die Partition wurde mit Standardparametern formatiert, mit der Ausnahme, dass ich die...
Ich habe ein paar Dateien mit einer Größe von jeweils> 1 GB. Ich muss die letzten paar Bytes aus den Dateien entfernen. Wie kann ich es tun? Ich bevorzuge es, die Datei an Ort und Stelle zu bearbeiten, um Speicherplatz zu sparen. Ich bin auf
Ist es sinnvoll, das Flag -T largefile zu verwenden, um ein Dateisystem für eine Partition mit großen Dateien wie Video und Audio im Flac-Format zu erstellen? Ich habe die gleiche Partition mit diesem Flag und ohne getestet und mit tune2fs -l [Partition] "Dateisystemfunktionen" eingecheckt, für die...
Ich habe eine 250 MB Textdatei, alles in einer Zeile. In dieser Datei möchte ich aZeichen durch bZeichen ersetzen : sed -e "s/a/b/g" < one-line-250-mb.txt Es schlägt fehl mit: sed: couldn't re-allocate memory Es scheint mir, dass diese Art von Aufgabe inline ausgeführt werden könnte, ohne viel...
Im gleichen Sinne wie diese andere Frage: Katze Zeile X bis Zeile Y in einer riesigen Datei : Gibt es eine Möglichkeit, aus Emacs heraus einen bestimmten Satz von Zeilen (z. B. alle Zeilen zwischen Zeile Xund Y) aus einer riesigen Textdatei zu öffnen (und in einem Puffer anzuzeigen) ? ZB Öffnen Sie...
Ich muss ein großes (50000x40000 px) PNG-Image unter Linux anzeigen. Leider stürzen die meisten Tools (EOG, Konvertieren usw.) entweder ab oder versagen mit Hinweis auf zu wenig Speicher. Gibt es eine Möglichkeit, dieses Bild anzuzeigen (ich würde es vorziehen, sowohl das Bild in der Größe als auch...
Ich habe ungefähr 2 Millionen (60 GB) kleine komprimierte Dateien und möchte ein komprimiertes Archiv erstellen, das alle in einer unkomprimierten Version enthält. Leider kann ich nicht alle dekomprimieren und dann das komprimierte Archiv erstellen, da ich nur etwa 70 GB freien Speicherplatz habe....
Ich habe ~ 30k Dateien. Jede Datei enthält ~ 100.000 Zeilen. Eine Zeile enthält keine Leerzeichen. Die Zeilen innerhalb einer einzelnen Datei werden sortiert und frei dupliziert. Mein Ziel: Ich möchte alle doppelten Zeilen in zwei oder mehr Dateien sowie die Namen der Dateien finden, die doppelte...
Ich habe zwei Textdateien. Eine ist eine Textdatei mit Name, E-Mail-Adresse und anderen Feldern. Einige Zeilen aus file1: John:[email protected]:johnson123:22hey Erik:[email protected]:johnson133:22hey Robert:[email protected]:johnson123:21hey Johnnny:[email protected]:johnson123:22hey Die andere...
Folgendes mache ich gerade: sort -T /some_dir/ --parallel=4 -uo file_sort.csv -k 1,3 file_unsort.csv Die Datei ist 90 GB, ich habe diese Fehlermeldung erhalten sort: close failed: /some_dir/sortmdWWn4: Disk quota exceeded Bisher habe ich die Option -T nicht verwendet und anscheinend ist das...