Wget eine Reihe von Dateien in der Reihenfolge

7

Wie lade ich eine Reihe von Dateien mit wget wie folgt herunter:

http://www.example.com/index.php?file=1
http://www.example.com/index.php?file=2
http://www.example.com/index.php?file=3
...
http://www.example.com/index.php?file=500
wget Stall
quelle
3
gleichzeitig oder eins nach dem anderen?
Hytromo

Antworten:

13

wget unterstützt das Herunterladen von mehr als einer Datei mit einem einzigen Befehl. Dies bedeutet, dass Sie Ihre Shell-Funktionen wie folgt nutzen können:

wget http://www.example.com/index.php?file={1..500}

Wenn Ihre URLs in einer Datei (eine URL pro Zeile) oder auf der Standardeingabe sind, können Sie auch wget s‘ -iOption.

Andrea Corbellini
quelle
1
Wenn die Zahlen gepolstert sind, können Sie dies auch folgendermaßen tun:wget http://www.example.com/index.php?file={001..500}
Jeff Olson
4

Platzieren Sie alle URLs in einer Datei, eine URL pro Zeile. Nennen wir es file.txt.

Platzieren Sie dann den Code in einer anderen Datei:

#!/bin/bash
while read url; do
   wget "$url"
done < file.txt

Speichern Sie die Datei im selben Verzeichnis file.txt und führen Sie sie über ein Terminal aus.

Wenn Sie die Dateien gleichzeitig herunterladen möchten, fügen Sie einfach ein & nach dem wget "$url"Befehl hinzu (in derselben Zeile).

Hytromo
quelle