Gutes Tool, um meine Website zu crawlen und mir zu helfen, tote und nicht verknüpfte Dateien zu finden [geschlossen]

21

Ich habe eine ziemlich große Legacy-Site mit buchstäblich Tausenden von PDFs, die manchmal in einer Datenbank enthalten sind, aber oft nur Links auf der Seite sind und in fast jedem Verzeichnis der Site gespeichert werden.

Ich habe einen PHP-Crawler geschrieben, um allen Links auf meiner Site zu folgen, und dann vergleiche ich das mit einem Dump der Verzeichnisstruktur, aber gibt es etwas Einfacheres?

site-maintenance web-crawlers dead-links MrChrister
quelle
Siehe auch webmasters.stackexchange.com/questions/13310/…, der auch nach der Rechtschreibprüfung fragt.
James Skemp

Antworten:

15

Ich habe Xenus Link Sleuth benutzt . Es funktioniert ziemlich gut, aber stellen Sie sicher, dass Sie sich nicht selbst DOS!

plntxt
quelle
1
Aktivieren Sie die Option "Verwaiste Dateien" in den Optionen und Sie werden aufgefordert, sich bei Ihrer Site per FTP anzumelden.
Pelms
Führt dies zu Websites, bei denen Sie sich ebenfalls anmelden müssen, um zur Seite zu gelangen?
Donny V.
@Jim Wie kann ich sehen, auf welcher Seite sich der defekte Link befindet?
Rob
Sobald der Crawl abgeschlossen ist, wird ein Bericht mit den Informationen angezeigt. Abhängig von der Größe der Site und der Anzahl defekter Links kann das Parsen schwierig sein. Normalerweise passe ich die Berichtsoptionen vor dem Crawlen an, öffne den Bericht als Textdatei (da es sich um HTM handelt) und lösche die nicht relevanten Elemente, um die Verwaltung zu vereinfachen. Hoffe das hilft.
Plntxt
6

Wenn Sie Windows 7 verwenden, ist das beste Tool das SEO Toolkit 1.0 von IIS7. Es ist kostenlos und Sie können es kostenlos herunterladen.

Das Tool scannt jede Site und teilt Ihnen mit, wo sich alle toten Links befinden, welche Seiten zu lange zum Laden benötigen, welche Seiten fehlende Titel, doppelte Titel, dasselbe für Stichwörter und Beschreibungen und welche Seiten fehlerhaften HTML-Code aufweisen.

Ben Hoffman
quelle
1
Ich habe dies persönlich verwendet und es ist hervorragend zum Scannen und natürlich für die Suchmaschinenoptimierung geeignet, aber der FTP-Check in Xenu gleicht dies nur aus.
MrChrister
1

Ich bin ein großer Fan von Linklint für die Überprüfung großer statischer Websites, wenn Sie eine Unix-Befehlszeile haben (ich habe sie unter Linux, MacOS und FreeBSD verwendet). Installationsanweisungen finden Sie auf der Website. Einmal installiert, erstelle ich eine Datei mit dem Namen check.llund mache:

linklint @check.ll

So sieht meine check.ll-Datei aus

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

Dabei werden www.example.comHTML-Dateien gecrawlt und mit Querverweisen versehene Berichte für defekte, fehlende usw. erstellt.

artlung
quelle
1

Es gibt verschiedene Produkte von Microsys , insbesondere den A1 Sitemap Generator und den A1 Website Analyzer , mit denen Ihre Website gecrawlt und alles berichtet wird, was Sie sich darüber vorstellen können.

Dazu gehören defekte Links, aber auch eine Tabellenansicht aller Ihrer Seiten, damit Sie beispielsweise identische <title> - und Meta-Description-Tags, Nofollow-Links, Meta-No-Index auf Webseiten und eine ganze Reihe von Krankheiten vergleichen können, die nur ein scharfes Auge benötigen eine schnelle Hand zu beheben.

Evgeny
quelle
1

Link Examiner ist auch eine wirklich gute Freeware für Ihre Bedürfnisse.

Dunkel
quelle