Eine Site, an der ich arbeite, hat eine Subdomain über eine 301-Umleitung in eine andere Subdomain verschoben. Beim Überprüfen von robots.txt der alten Subdomain wird jedoch eine robots.txt verwendet, die das Crawlen von Suchmaschinen-Webcrawlern nicht zulässt.
Ist das der richtige Schritt? Ich glaube nein, weil die Crawler die alte Site nicht crawlen können, um die 301-Statuscodes anzuzeigen.
seo
redirects
robots.txt
Matte Junge
quelle
quelle
Antworten:
Ihr Verdacht ist richtig, mit der genauen Begründung, die Sie erwähnt haben. Wenn Sie Robotern den Zugriff auf die alte Site untersagen, können sie die 301-Umleitung nicht sehen.
quelle
Ja genau - das ist nicht der "richtige Schritt". Wenn Sie eine 301-Weiterleitung implementieren, vermutlich um die Suchmaschinenoptimierung zu erhalten, verhindert das Blockieren der umgeleiteten URLs, dass die Suchmaschinen die Weiterleitung sehen und den neuen Inhalt indizieren.
quelle
Ich würde die robots.txt unverändert lassen, aber sicherstellen, dass die alten und neuen Seiten die entsprechende Version der Canonical-Tags haben. Dies wird der Suchmaschine helfen, einen Sinn für das zu finden, was passiert ist.
quelle