Ich habe eine Website und möchte alle Seiten / Links auf dieser Website herunterladen. Ich möchte einen wget -r
auf dieser URL machen. Keiner der Links geht "außerhalb" dieses spezifischen Verzeichnisses, daher mache ich mir keine Sorgen, das gesamte Internet herunterzuladen.
Wie sich herausstellt, befinden sich die von mir gewünschten Seiten hinter dem passwortgeschützten Bereich der Website. Obwohl ich wget verwenden könnte, um diese Cookie-Aushandlung manuell durchzuführen, wäre es für mich viel einfacher, mich nur über den Browser "einzuloggen" und ein Firefox-Plugin zu verwenden, um alles rekursiv herunterzuladen.
Gibt es eine Erweiterung oder etwas, mit dem ich das machen kann? Viele Erweiterungen konzentrieren sich auf das Abrufen von Medien / Bildern von der Seite (heh. Heh.), Aber ich interessiere mich für den gesamten Inhalt - HTML und alles.
Vorschläge?
Vielen Dank!
Bearbeiten
DownThemAll scheint ein cooler Vorschlag zu sein. Kann es einen rekursiven Download durchführen? Laden Sie wie in alle Links auf der Seite herunter, und laden Sie dann alle in diesen Seiten enthaltenen Links usw. herunter. Damit ich im Grunde den gesamten Verzeichnisbaum spiegele, indem ich Links folge? Ein bisschen wie die -r
Option wget
?
quelle
Sie können
wget -r
Cookies aus dem Browser verwenden, die nach der Autorisierung extrahiert wurden.Firefox verfügt über die Option "Als cURL kopieren" im Kontextmenü der Seitenanforderung auf der Registerkarte "Netzwerk" der Web Developer Tools, Tastenkürzel Strg + Umschalt + Q (möglicherweise müssen Sie die Seite nach dem Öffnen der Tools neu laden):
Ersetzen Sie das Header-Flag von curl
-H
durch wget's--header
, und Sie haben alle erforderlichen Header, einschließlich Cookies, um die Browsersitzung mit wget fortzusetzen.quelle