Wie verwende ich wget zum Herunterladen von Hosting-Sites?

wget ist ein sehr nützliches Tool zum schnellen Herunterladen von Inhalten im Internet. Kann ich es jedoch zum Herunterladen von Hosting-Sites wie FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare verwenden? Wenn ja, wie kann ich das machen?

Diese Art von Website versucht es schwierig zu machen, keinen grafischen Webbrowser zu verwenden, denn wenn Sie wget verwenden, fehlen all diese Anzeigen, die für die Bandbreite zahlen.

Einige Websites führen keine erweiterten Überprüfungen durch und können leicht ausgetrickst werden: Sagen Sie wget, dass es sich um Mozilla handelt und dass es von der Download-Website stammt .

wget --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' \
     --referer=http://downloadsite.example.com/download-page-url
     http://downloadsite.example.com/download-page-url/filename.ext`

Bei den meisten Websites, die dies überprüfen, können Sie die URL der heruntergeladenen Datei festlegen --user-agent=Mozillaund --refererfestlegen.

Bei einigen Websites müssen Sie möglicherweise die Webbrowser-Cookies exportieren und --load-cookiesan wget übergeben. Ab diesem Zeitpunkt ist die Verwendung von wget mehr Arbeit als ein manueller Download. Die ultimative Methode, die jederzeit funktioniert, aber für jede Site eine gewisse Codierung erfordert, ist die Verwendung eines Browser-Automatisierungsframeworks wie Selenium oder Watir .

Siehe auch Automatisieren von Webanfragen mithilfe von Curl?

Für Zippyshare:

Diese Methode baut auf Gilles 'Antwort auf . Wie er sagte, besteht der Trick darin, den Server glauben zu lassen, dass die Anfrage von einem Browser aus gestellt wird, und um dies zu erreichen, benötigen Sie einige Dinge:

• Der Download-Link (Der eigentliche Link zur Datei)
• Link Referrer (Die Webseite mit dem Download-Button)
• Zippyshare-Sitzungs-ID (in Cookies gefunden)

Hier ist ein Screenshot, in dem erklärt wird, wo Sie die einzelnen Artikel erhalten können:

Öffnen Sie nun Ihr Terminal und verwenden Sie den folgenden Befehl (Ersetzen der erforderlichen Elemente):

wget <download_link> \
--referer='<referrer>' \
--cookies=off --header "Cookie: JSESSIONID=<session_id>" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

Beispiel:

wget http://www16.zippyshare.com/d/29887835/8895183/hello.txt \
--referer='http://www16.zippyshare.com/v/29887835/file.html' \
--cookies=off --header "Cookie: JSESSIONID=26458C0893BF69F88EB5743D74FE0F8C" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

Hinweis: Im Befehl ist dies tatsächlich referernicht der Fallreferrer

Ich möchte auch über perfekte Antworten, ich habe folgenden Trick verwendet, um einen Kinderfilm für meinen Sohn von Turbobit herunterzuladen:

Anstelle von SESSION_ID aus der obigen Antwort müssen Sie "compid" auf der Cookie-Registerkarte von FIREBUG suchen:

Danach war der Befehl für mein eingebettetes Debian-System so einfach:

wget --referer='http://http://turbobit.net/download/free/yilmacr4e351' --cookies=off --header "Cookie: compid=c9255510c34624435292d8a0e7e405be66aa01f9%7ED01343F87AB53A2C38D957A564DA1D55" --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' http://turbobit.net/download/redirect/B3EDACDA9B899937A149D5AAB6662327/yilmacr4e351/Ters.Yuz.2015.1080P.WEBDL.TR.EN.mkv &

Ich kann meinen Computer jetzt herunterfahren :)