Äquivalent zum rekursiven Download (`wget -r`) für Firefox?

15

Ich habe eine Website und möchte alle Seiten / Links auf dieser Website herunterladen. Ich möchte einen wget -rauf dieser URL machen. Keiner der Links geht "außerhalb" dieses spezifischen Verzeichnisses, daher mache ich mir keine Sorgen, das gesamte Internet herunterzuladen.

Wie sich herausstellt, befinden sich die von mir gewünschten Seiten hinter dem passwortgeschützten Bereich der Website. Obwohl ich wget verwenden könnte, um diese Cookie-Aushandlung manuell durchzuführen, wäre es für mich viel einfacher, mich nur über den Browser "einzuloggen" und ein Firefox-Plugin zu verwenden, um alles rekursiv herunterzuladen.

Gibt es eine Erweiterung oder etwas, mit dem ich das machen kann? Viele Erweiterungen konzentrieren sich auf das Abrufen von Medien / Bildern von der Seite (heh. Heh.), Aber ich interessiere mich für den gesamten Inhalt - HTML und alles.

Vorschläge?

Vielen Dank!

Bearbeiten

DownThemAll scheint ein cooler Vorschlag zu sein. Kann es einen rekursiven Download durchführen? Laden Sie wie in alle Links auf der Seite herunter, und laden Sie dann alle in diesen Seiten enthaltenen Links usw. herunter. Damit ich im Grunde den gesamten Verzeichnisbaum spiegele, indem ich Links folge? Ein bisschen wie die -rOption wget?

rascher
quelle

Antworten:

7

DownThemAll führt keinen rekursiven Download durch. Es werden nur Links von der aktuellen Seite abgerufen. Es wird nur die HTML-Seite der verlinkten URLs heruntergeladen. Die Bilder und Medien der verlinkten Seiten werden nicht heruntergeladen.

Shibu
quelle
6

SpiderZilla soll das tun - aber es ist ein bisschen alt (2006).
Es basiert auf dem HTTrack-Website-Kopierer .
Welches hat Versionen für alle Plattformen aktualisiert .

Es gibt auch ein älteres Addon , mit dem Sie wgetsich (unter anderem) selbst einstecken können .

Allerdings bin auch ich der Meinung, dass DownThemAll wahrscheinlich eine gute Wahl ist.
Wenn Sie wissen, was Sie spiegeln möchten, sollte die Auswahl der richtigen Links kein Problem sein.
Sie können das Kontrollkästchen "Alle" jederzeit aktivieren.

Also, +1 für DownThemAll, wenn Sie sich an den Browser halten möchten.
Verwenden Sie HTTrack, wenn Sie ein eigenständiges Tool benötigen (und wget nicht praktisch ist).

Update: Sie können auch in dieser Prämie Frage an HTTrack Stimmen suchen,
Wie kann ich eine ganze Website herunterladen .

nik
quelle
DTA unterstützt keine Rekursion
Hayden Thring
4

Sie können wget -rCookies aus dem Browser verwenden, die nach der Autorisierung extrahiert wurden.

Firefox verfügt über die Option "Als cURL kopieren" im Kontextmenü der Seitenanforderung auf der Registerkarte "Netzwerk" der Web Developer Tools, Tastenkürzel Strg + Umschalt + Q (möglicherweise müssen Sie die Seite nach dem Öffnen der Tools neu laden): Bildschirmfoto

Ersetzen Sie das Header-Flag von curl -Hdurch wget's --header, und Sie haben alle erforderlichen Header, einschließlich Cookies, um die Browsersitzung mit wget fortzusetzen.

Benutzer
quelle