Wget: Links konvertieren und das erneute Herunterladen von bereits abgerufenen Dateien vermeiden?

12

Ich lade Daten herunter, die auf mehrere Dateien verteilt sind, die sich nach der Veröffentlichung nicht ändern.

Daher --timestampingist es nicht gut genug, weil ständig überprüft wird, welche Ressource geändert wird, was in meinem Fall völlig sinnlos ist.

--no-clobberwürde perfekt passen. Leider funktioniert es --convert-links aus irgendeinem Grund nicht.

Sowohl --no-clobber als auch --convert-links wurden angegeben, nur --convert-links werden verwendet.

Ich hoffte, das --backup-convertedwürde helfen, aber es änderte nichts (es funktioniert für --timestamping.)

Warum wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignoriert --no-clobberund wie könnte es behoben werden?

wget download Aktivität reduzieren
quelle
Das gleiche Problem heute treffen. Wie hast du es gelöst?
Angelo Fuchs
1
@AngeloFuchs Ich habe es nie gelöst (ich würde antworten, wenn das passieren würde). Letztendlich war es in meinem Fall einfacher, abgerufene Links erneut herunterzuladen, als wget zu patchen oder zu etwas anderem zu wechseln.
Reduzierung der Aktivität
haben Sie versucht --continue? Dies ist normalerweise dazu gedacht, einen zuvor abgebrochenen Download fortzusetzen. Aber wenn die Datei bereits abgerufen wurde, führt das nichts aus.
JPT

Antworten:

1

Irgendeine Möglichkeit, rsync zu benutzen? Sie müssen SSH-Zugriff auf das System haben. (Ich habe noch nie gesehen, dass rsync für http: // Downloads verwendet wurde.)

So etwas wird Dateien abrufen, die Sie noch nie bekommen haben, und Dateien, die aus irgendeinem Grund nicht mehr heruntergeladen wurden, erneut abrufen. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

Dies funktioniert möglicherweise nicht für Sie. Nicht genügend Informationen darüber, was Sie versuchen, zu tun.

Mark Stewart
quelle
-2

Sie können nicht beide --convert-linksund verwenden --no-clobber. Sie erhalten diese Nachricht:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetkann erreichen, was Sie wollen, wenn Sie --convert-linksund angeben --timestamping. Dies funktioniert jedoch nur, wenn die Zielsite die Datei-Zeitstempelinformationen in den Antwortheadern bereitstellt.

RashaMatt
quelle
Diese Antwort enthält nichts, was in der allerersten Überarbeitung ( unix.stackexchange.com/posts/177330/revisions ) meiner Frage nicht erwähnt wurde .
Reduzierung der Aktivität