Die beste Methode zum Sammeln einer Zufallsstichprobe aus einer Dateisammlung

Angenommen, es gibt ein Verzeichnis mit 300 Datendateien. Ich möchte 200 dieser Dateien zufällig auswählen und in ein anderes Verzeichnis verschieben. Gibt es eine Möglichkeit, dies unter Unix / Linux zu tun?

Wenn Ihr System dies hat shuf, können Sie dies ganz bequem verwenden (sogar mit hässlichen Dateinamen umgehen):

shuf -zen200 source/* | xargs -0 mv -t dest

Wenn Sie keine haben, shufaber eine haben sort, die braucht -R, sollte dies funktionieren:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Fügen Sie alle Dateinamen in ein Array mit dem Namen "files" in bash ein:

files=( * )

Größe des Arrays:

echo ${#files[@]}

Definieren Sie 2/3 davon als Stichprobengröße:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Dies wählt Duplikate aus und wird nicht mit Dateinamen mit Leerzeichen und dergleichen getestet.

Die einfachste Möglichkeit, Duplikate zu vermeiden, besteht darin, alle Dateien zu durchlaufen und jede mit einer Wahrscheinlichkeit von 2/3 auszuwählen. Dies führt jedoch nicht unbedingt zu 200 Dateien.

Dadurch wird eine Datei entfernt, wenn sie aus der Liste ausgewählt wurde und Ihren Anforderungen entspricht:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Wenn dies statistisch zufällig sein muss, sollten Sie nicht verwenden RANDOM % ${#keys[@]}. Erwägen:

1. $RANDOM hat 32768 eindeutige Werte
2. Die erste Auswahl ist 1 von 300 Elementen
3. 32768 = 109 * 300 + 68

Bei der Auswahl des ersten Elements besteht daher für jedes der 68 ersten Elemente eine Chance von 110/32768 ~ = 0,33569% und für jedes der anderen 232 Elemente eine Chance von 109/32768 ~ = 0,33264%. Die Kommissionierung wird mehrmals mit unterschiedlichen Chancen wiederholt, jedoch immer in Richtung der ersten Elemente verschoben 32768 % ${#keys[@]} -ne 0, sodass sich der Fehler addiert.

Dies sollte unvoreingenommen sein und funktioniert mit jedem Dateinamen:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

Kevins Lösung funktioniert großartig! Etwas anderes, das ich oft benutzt habe, weil es mir leichter fällt, mich über den Kopf zu erinnern, ist etwas wie:

cp `ls | shuf -n 200` destination

Ein Liner in der Bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done