Wie kann ich die heruntergeladenen Dateien so umbenennen, dass sie die Abfragezeichenfolge nicht enthalten?

Ich lade eine Site mit wget herunter und viele Links sind mit Suchanfragen verknüpft. Wenn ich das mache:

wget -nv -c -r -H -A mp3 -nd http://url.to.old.podcasts.com/

Am Ende habe ich viele Dateien wie diese:

1.mp3?foo=bar
2.mp3?blatz=pow
3.mp3?fizz=buzz

Am Ende möchte ich Folgendes haben:

1.mp3
2.mp3
3.mp3

Dies findet alles unter Ubuntu Linux statt und ich habe wget 1.10.2.

Ich weiß, dass ich das tun kann, nachdem ich alles über ein Skript erhalten habe, um alles umzubenennen. Ich hätte jedoch gerne eine Lösung aus wget heraus, damit ich die korrekten Namen sehen kann, während der Download stattfindet.

Kann mir jemand helfen, das zu entwirren?

Wenn der Server freundlich ist, kann es sein, dass er beim Herunterladen einen Content-Disposition-Header anbringt, der Ihren Client über den korrekten Dateinamen informiert. Es ist ganz einfach, wget zu sagen, dass er diesen Header nach dem endgültigen Dateinamen anhören soll:

wget --content-disposition

Sie benötigen eine neue Version von wget, um diese Funktion nutzen zu können.

Ich habe keine Ahnung, wie gut es mit einem Server umgeht, der den Dateinamen '/ etc / passwd' beansprucht.

Nach der Verarbeitung eines großen Stapels wurde mir klar, dass ich hätte die Abfragezeichenfolgen wgetignorieren sollen. Ich wollte es nicht noch einmal machen, also habe ich dieses Skript erstellt, das für mich funktioniert hat:

# /bin/bash
for i in `find $1 -type f`
do
    mv $i `echo $i | cut -d? -f1`
done

Schreiben Sie das in eine Datei wie rmqstrund chmod +x rmqstr Syntax:./rmqstr <directory (defaults to .)>

Die Abfragezeichenfolgen werden rekursiv aus allen Dateinamen entfernt.

Ich denke, um wgetzu speichern, wie ein Dateiname anders als die URL angibt, müssen Sie das -O filenameArgument verwenden. Das macht nur, was Sie wollen, wenn Sie ihm eine einzige URL geben - bei mehreren URLs endet der gesamte heruntergeladene Inhalt in filename.

Aber das ist wirklich die Antwort. wgetVerwenden Sie mehrere Befehle, anstatt zu versuchen, alles in einem Befehl auszuführen. Jetzt wird Ihr Workflow:

1. Führen wgetSie den Befehl aus , um die Basis-HTML-Datei (en) mit Ihren Links abzurufen.
2. Nach URLs suchen;
3. Für jede URL, die auf endet mp3,
   1. verarbeite URL um einen Dateinamen zu erhalten (zB verwandle dich http://foo/bar/baz.mp3?gargle=blasterinbaz.mp3
   2. (optional) Überprüfen Sie, ob der Dateiname nicht existiert
   3. Lauf wget <URL> -O <filename>

Das löst Ihr Problem, aber jetzt müssen Sie herausfinden, wie Sie die Basisdateien abrufen, um Ihre mp3URLs zu finden .

Haben Sie eine bestimmte Site- / Basis-URL im Hinterkopf? Die Schritte 1 und 3 lassen sich anhand eines konkreten Beispiels leichter handhaben.

so kann ich die korrekten Namen sehen, während der Download stattfindet.

OKAY. Verwenden Sie wget wie gewohnt. Verwenden Sie das Post-Wget-Skript, das Sie normalerweise verwenden, aber verarbeiten Sie die Ausgabe von Wget so, dass die Augen geschont werden:

#! /bin/sh
exec wget --progress=bar:force $* 2>&1 | \
  perl -pe 'BEGIN { $| = 1 } s,(?<=`)([^\x27?]+),\e[36;1m$1\e[0m, if /^Saving/'
cgi-cut # rename files

Dies wird weiterhin ?foo=barangezeigt, während Sie herunterladen, aber der Rest des Namens wird in hellem Cyan angezeigt.

Ich habe einen ähnlichen Ansatz wie @Gregory Wolf, weil sein Code immer Fehlermeldungen wie diese erzeugt:

mv: './file' und './file' sind dieselbe Datei

Daher überprüfe ich zuerst, ob der Dateiname eine Abfragezeichenfolge enthält, bevor ich die Datei verschiebe:

for f in $(find $1 -type f); do
    if [ $f = ${f%%\?*} ]; then continue; fi
    mv "${f}" "${f%%\?*}"
done

Dies überprüft rekursiv jede Datei und entfernt alle Abfragezeichenfolgen in ihren Dateinamen, falls verfügbar.

Schauen Sie sich diese beiden Befehle an, die ich zum Klonen einer Site erstellt habe. Nachdem das Klonen abgeschlossen ist, können Sie den zweiten Befehl ausführen.

Der zweite Befehl durchsucht den gesamten Klon, sucht nach " ? " - Dateimusternamen und entfernt die Abfragezeichenfolge aus dem Dateinamen.

# Clone entire site.
    wget --content-disposition --execute robots=off --recursive --no-parent --continue --no-clobber http://example.com

# Remove query string from a static resource.
for i in `find $1 -type f -name "*\?*"`; do mv $i `echo $i | cut -d? -f1`; done

(Siehe es in GitHub Gist .)

Noch einfacher ist dies: /unix/196253/how-do-you-rename-files-spezifisch-in-a-list-that-wget-will-use

Dies schlägt eine Methode vor, die im Wesentlichen die Umbenennungsfunktion von wget für mehrere Dateien verwendet (die geändert werden kann, um das Verzeichnis einzuschließen). Siehe die zweite vorgeschlagene Version.