Entfernen Sie doppelte Einträge aus einer CSV-Datei

Ich habe eine [csv] -Datei mit doppeltem Datum, dh denselben Daten, die zweimal gedruckt wurden. Ich habe versucht, die Uniq von sort zu verwenden,sort myfile.csv | uniq -u aber es gibt keine Änderung in der myfile.csv, auch ich habe versucht, sudo sort myfile.csv | uniq -uaber keinen Unterschied.

Derzeit sieht meine CSV-Datei also so aus

a
a
a
b
b
c
c
c
c
c

Ich würde gerne so aussehen

a
b
c

Der Grund , das myfile.csvnicht zu ändern ist , weil die -uOption für uniqwird nur eindeutige Zeilen drucken. In dieser Datei sind alle Zeilen Duplikate, sodass sie nicht ausgedruckt werden.

Noch wichtiger ist jedoch, dass die Ausgabe nicht gespeichert wird, myfile.csvda uniqsie nur ausgedruckt wird stdout(standardmäßig Ihre Konsole).

Sie müssten so etwas tun:

$ sort -u myfile.csv -o myfile.csv

Die Optionen bedeuten:

• -u - Halten Sie nur eindeutige Linien
• -o - Ausgabe in diese Datei anstelle von stdout

Sie sollten man sortfür weitere Informationen anzeigen .

Wie Belmin gezeigt hat, ist die Sortierung großartig. Seine Antwort eignet sich am besten für unsortierte Daten und ist leicht zu merken und zu verwenden.

Es ist jedoch auch flüchtig, da es die Reihenfolge der Eingabe ändert. Wenn Sie die Daten unbedingt in derselben Reihenfolge durchlaufen müssen, aber spätere Duplikate entfernen müssen, ist awk möglicherweise besser.

$ cat myfile.csv
c
a
c
b
b
a
c


$ awk '{if (!($0 in x)) {print $0; x[$0]=1} }' myfile.csv
c
a
b

Seltsame Kante Fall, aber es kommt von Zeit zu Zeit.

Wenn Ihre Daten bereits beim Stöbern sortiert sind, können Sie einfach uniq ausführen.

$ cat myfile.csv 
a
a
a
b
b
c
c
c
c
c


$ uniq myfile.csv 
a
b
c

Der Nachteil meiner beiden Vorschläge ist, dass Sie eine temporäre Datei verwenden und diese wieder kopieren müssen.

uniq druckt -u nur eindeutige Zeilen. Ihre Eingabe enthält keine eindeutigen Zeilen. uniq -uDrucken Sie also nichts aus. Sie brauchen nur sort:

sort -u myfile.csv

Wenn Sie die Reihenfolge der Datei beibehalten möchten (nicht sortiert), aber dennoch Duplikate entfernen möchten, können Sie dies auch tun

awk '!v[$1]++' /tmp/file

Beispielsweise

d
d
a
a
b
b
c
c
c
c
c

Es wird ausgegeben

d
a
b
c