Wählen Sie eindeutige oder unterschiedliche Werte aus einer Liste im UNIX-Shell-Skript aus

Ich habe ein ksh-Skript, das eine lange Liste von Werten zurückgibt, Newline getrennt, und ich möchte nur die eindeutigen / eindeutigen Werte sehen. Ist das möglich?

Angenommen, meine Ausgabe besteht aus Dateisuffixen in einem Verzeichnis:

tar
gz
java
gz
java
tar
class
class

Ich möchte eine Liste sehen wie:

tar
gz
java
class

Vielleicht möchten Sie sich die uniqund sortAnwendungen ansehen .

./IhrSkript.ksh | sortieren | uniq

(FYI, ja, die Sortierung ist in dieser Befehlszeile erforderlich, entfernt uniqnur doppelte Zeilen, die unmittelbar nacheinander liegen)

BEARBEITEN:

Im Gegensatz zu dem, was Aaron Digulla in Bezug auf uniqdie Befehlszeilenoptionen gepostet hat :

Angesichts der folgenden Eingabe:

Klasse
Krug
Krug
Krug
Behälter
Behälter
Java

uniq gibt alle Zeilen genau einmal aus:

Klasse
Krug
Behälter
Java

uniq -d gibt alle Zeilen aus, die mehr als einmal erscheinen, und druckt sie einmal:

Krug
Behälter

uniq -u gibt alle Zeilen aus, die genau einmal angezeigt werden, und druckt sie einmal aus:

Klasse
Java

./script.sh | sort -u

Dies entspricht der Antwort von Monoxid , ist jedoch etwas prägnanter.

Für größere Datenmengen, bei denen eine Sortierung möglicherweise nicht wünschenswert ist, können Sie auch das folgende Perl-Skript verwenden:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Dies speichert im Grunde nur jede Zeilenausgabe, so dass sie nicht erneut ausgegeben wird.

Es hat den Vorteil gegenüber der " sort | uniq" Lösung, dass im Voraus keine Sortierung erforderlich ist.

Mit zsh können Sie dies tun:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Oder Sie können AWK verwenden:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Pipe sie durch sortund uniq. Dadurch werden alle Duplikate entfernt.

uniq -dgibt nur die Duplikate, uniq -ugibt nur die eindeutigen (Streifen Duplikate).

Mit AWK können Sie es tun, ich finde es schneller als sortieren

 ./yourscript.ksh | awk '!a[$0]++'

Einzigartig, wie gewünscht (aber nicht sortiert);
verwendet weniger Systemressourcen für weniger als ~ 70 Elemente (wie mit der Zeit getestet);
geschrieben, um Eingaben von stdin zu übernehmen
(oder zu ändern und in ein anderes Skript aufzunehmen):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Ich bekomme bessere Tipps, um nicht doppelte Einträge in einer Datei zu erhalten

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u