Überall, wo ich jemanden sehe, der eine sortierte, eindeutige Liste benötigt, wird er immer weitergeleitet sort | uniq. Ich habe noch nie Beispiele gesehen, bei denen jemand sort -ustattdessen verwendet. Warum nicht? Was ist der Unterschied und warum ist es besser, uniq als die eindeutige...
Es macht mir wirklich Spaß control+r, rekursiv in meinem Befehlsverlauf zu suchen. Ich habe ein paar gute Optionen gefunden, die ich gerne damit verwende: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export...
$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Das Ergebnis, das ich brauche, ist die Anzeige aller Zeilen aus der Originaldatei, wobei alle Duplikate (nicht nur die aufeinanderfolgenden)...
Dieser Einzeiler entfernt doppelte Zeilen aus der Texteingabe ohne Vorsortierung. Beispielsweise: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Der Originalcode, den ich auf den Internets gefunden habe, lautete: awk '!_[$0]++' Dies war für mich noch verwirrender, als ich _eine besondere...
Hier sind Befehle für eine zufällige Datei aus dem Pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u...
Gibt es eine Möglichkeit, alle Dateien in einem Verzeichnis mit doppelten Dateinamen zu finden, unabhängig von der Schreibweise (Groß- und / oder
Meine Frage ist ähnlich zu dieser Frage, aber mit ein paar verschiedenen Einschränkungen: Ich habe eine große \nWortliste mit Trennzeichen - ein Wort pro Zeile. Die Dateigröße reicht von 2 GB bis zu 10 GB. Ich muss alle doppelten Zeilen entfernen. Der Prozess kann die Liste während des Entfernens...
Ich bin heute auf diesen Anwendungsfall gestoßen. Es scheint einfach auf den ersten Blick, aber das Hantieren mit sort, uniq, sedund awkgezeigt , dass es nicht trivial ist. Wie kann ich alle doppelten Zeilenpaare löschen ? Mit anderen Worten, wenn es eine gerade Anzahl von Duplikaten einer...
Ich habe etwas alten Code von 2003, der -tWahl für uniqBefehl verwendet. Es wird ein Fehler ausgegeben, da diese Option wahrscheinlich nicht mehr unterstützt wird. Hier ist das Stück, das den Befehl verwendet: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \...
Ich habe eine Datei mit einer Spalte mit Namen, die sich jeweils mehrmals wiederholen. Ich möchte jede Wiederholung zu einer zusammenfassen, während alle anderen Wiederholungen mit demselben Namen beibehalten werden, die nicht an andere Wiederholungen mit demselben Namen angrenzen. ZB möchte ich...
Ich habe eine große Datei im folgenden Format: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Wenn die Werte in Spalte 2 übereinstimmen, möchte ich die Werte in Spalte 3 und 4 beider Zeilen summieren, ansonsten nur die Summe der Werte in der eindeutigen...
Was ist im folgenden Code-Snippet los? Ich erhalte nicht meine erwartete Ausgabe. Ich würde denken, dass es ein Fehler war, aber es passiert für 2 verschiedene Programme (uniq und sort), also vermute ich, dass es etwas damit zu tun hat ... nun, ich weiß nicht was ... daher die Frage. Die ersten 3...
Ich habe den folgenden Befehl verwendet curl -silent http://api.openstreetmap.org/api/0.6/relation/2919627 http://api.openstreetmap.org/api/0.6/relation/2919628 | grep node | awk '{print $3}' | uniq als ich mich fragte, warum ich uniqdie Duplikate nicht entfernen sollte. Irgendeine Idee...
Wenn ich eine Zeichenfolge "1 2 3 2 1" oder ein Array [1,2,3,2,1] habe, wie kann ich die eindeutigen Werte auswählen, d. H. "1 2 3 2 1" produces "1 2 3" oder [1,2,3,2,1] produces [1,2,3] Ähnlich wie uniq, aber uniq scheint auf ganzen Linien zu funktionieren, nicht auf Mustern innerhalb einer Linie...
Ich habe eine große Textdatei (1,5 G), Ich möchte wissen, was das schnellste und zuverlässigste Tool unter Linux ist. Ich benutze normalerweise: awk '!x[$0]++' file.txt Aber wenn ich den htopBefehl benutze, sehe ich, dass meine Speichernutzung zunimmt. Ich möchte wissen, was das schnellste und...
Ich versuche eine naive: $ cat * | sort -u > /tmp/bla.txt was scheitert mit: -bash: /bin/cat: Argument list too long Um eine dumme Lösung wie (erstellt eine enorme temporäre Datei) zu vermeiden: $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u >...
Ich suche nach einem Befehl, um aus einer Datei in diesem Format zu gelangen: hello 32 hello 67 hi 2 ho 1212 ho 1390 ho 3000 Zu diesem Format (Deduplizieren durch Nehmen der letzten Zeile einer "Gruppe"): hello 67 hi 2 ho 3000 Im Moment verwende ich ein Python- und Pandas-Snippet: df =...
Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie durch Bearbeiten dieses Beitrags mit Fakten und Zitaten beantwortet werden kann . Geschlossen vor 3 Jahren . Das von POSIX...