Ich habe eine ziemlich große Legacy-Site mit buchstäblich Tausenden von PDFs, die manchmal in einer Datenbank enthalten sind, aber oft nur Links auf der Seite sind und in fast jedem Verzeichnis der Site gespeichert werden.
Ich habe einen PHP-Crawler geschrieben, um allen Links auf meiner Site zu folgen, und dann vergleiche ich das mit einem Dump der Verzeichnisstruktur, aber gibt es etwas Einfacheres?
site-maintenance
web-crawlers
dead-links
MrChrister
quelle
quelle
Antworten:
Ich habe Xenus Link Sleuth benutzt . Es funktioniert ziemlich gut, aber stellen Sie sicher, dass Sie sich nicht selbst DOS!
quelle
Wenn Sie Windows 7 verwenden, ist das beste Tool das SEO Toolkit 1.0 von IIS7. Es ist kostenlos und Sie können es kostenlos herunterladen.
Das Tool scannt jede Site und teilt Ihnen mit, wo sich alle toten Links befinden, welche Seiten zu lange zum Laden benötigen, welche Seiten fehlende Titel, doppelte Titel, dasselbe für Stichwörter und Beschreibungen und welche Seiten fehlerhaften HTML-Code aufweisen.
quelle
Probieren Sie das Open-Source-Tool Link Checker von W3C aus . Sie können es online verwenden oder lokal installieren
quelle
Ich bin ein großer Fan von Linklint für die Überprüfung großer statischer Websites, wenn Sie eine Unix-Befehlszeile haben (ich habe sie unter Linux, MacOS und FreeBSD verwendet). Installationsanweisungen finden Sie auf der Website. Einmal installiert, erstelle ich eine Datei mit dem Namen
check.ll
und mache:So sieht meine check.ll-Datei aus
Dabei werden
www.example.com
HTML-Dateien gecrawlt und mit Querverweisen versehene Berichte für defekte, fehlende usw. erstellt.quelle
Es gibt verschiedene Produkte von Microsys , insbesondere den A1 Sitemap Generator und den A1 Website Analyzer , mit denen Ihre Website gecrawlt und alles berichtet wird, was Sie sich darüber vorstellen können.
Dazu gehören defekte Links, aber auch eine Tabellenansicht aller Ihrer Seiten, damit Sie beispielsweise identische <title> - und Meta-Description-Tags, Nofollow-Links, Meta-No-Index auf Webseiten und eine ganze Reihe von Krankheiten vergleichen können, die nur ein scharfes Auge benötigen eine schnelle Hand zu beheben.
quelle
Link Examiner ist auch eine wirklich gute Freeware für Ihre Bedürfnisse.
quelle