Wie erhält man nur die eindeutigen Ergebnisse, ohne Daten sortieren zu müssen?

$ cat data.txt 
aaaaaa
aaaaaa
cccccc
aaaaaa
aaaaaa
bbbbbb
$ cat data.txt | uniq
aaaaaa
cccccc
aaaaaa
bbbbbb
$ cat data.txt | sort | uniq
aaaaaa
bbbbbb
cccccc
$

Das Ergebnis, das ich brauche, ist die Anzeige aller Zeilen aus der Originaldatei, wobei alle Duplikate (nicht nur die aufeinanderfolgenden) entfernt werden, während die ursprüngliche Reihenfolge der Anweisungen in der Datei beibehalten wird .

Hier, in diesem Beispiel, war das Ergebnis, nach dem ich tatsächlich gesucht habe

aaaaaa
cccccc
bbbbbb

Wie kann ich diese verallgemeinerte uniqOperation im Allgemeinen ausführen ?

perl -ne 'print unless $seen{$_}++' data.txt

Oder, wenn Sie eine nutzlose Verwendung von haben müssencat :

cat data.txt | perl -ne 'print unless $seen{$_}++'

Hier ist eine awkÜbersetzung für Systeme, denen Perl fehlt:

awk '!seen[$0]++' data.txt
cat data.txt | awk '!seen[$0]++'

John hat ein Tool namens unique:

usr@srv % cat data.txt | unique out
usr@srv % cat out
aaaaaa
cccccc
bbbbbb

Dasselbe ohne zusätzliche Tools in einer einzigen Befehlszeile zu erreichen, ist etwas komplexer:

usr@srv % cat data.txt | nl | sort -k 2 | uniq -f 1 | sort -n | sed 's/\s*[0-9]\+\s\+//'
aaaaaa
cccccc
bbbbbb

nlGibt Zeilennummern vor den Zeilen aus. Wenn wir sort/ uniqhinter ihnen stehen, können wir die ursprüngliche Reihenfolge der Zeilen wiederherstellen. sedlöscht nur die Zeilennummern danach;)

Ich bevorzuge dies zu verwenden:

cat -n data.txt | sort --key=2.1 -b -u | sort -n | cut -c8-

cat -n fügt Zeilennummern hinzu,

sort --key=2.1 -b -u Sortiert im zweiten Feld (nach den hinzugefügten Zeilennummern), ignoriert führende Leerzeichen und behält eindeutige Zeilen bei

sort -n Sortiert in strenger numerischer Reihenfolge

cut -c8- Bewahren Sie alle Zeichen von Spalte 8 bis EOL auf (dh lassen Sie die von uns angegebenen Zeilennummern weg).

Perl verfügt über ein Modul, das Sie verwenden können und das eine aufgerufene Funktion enthält uniq. Wenn Sie also Ihre Daten in ein Array in Perl laden, rufen Sie einfach die folgende Funktion auf, um sie eindeutig zu machen, und behalten dennoch die ursprüngliche Reihenfolge bei.

use List::MoreUtils qw(uniq)    
@output = uniq(@output);

Weitere Informationen zu diesem Modul finden Sie hier: List :: MoreUtils