Ich habe meine Website fertiggestellt und gestartet. Ich glaube, ich hatte ein Problem mit meiner robots.txt
- also habe ich sie so geändert:
03/08/2012
# Allows all bots
Sitemap: http://www.mysite.co.za/sitemap.xml
User-agent: *
Disallow: /dashboard/
Wenn ich meine google, domain.co.za
bekomme ich Folgendes zurück: Startseite
A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15
Jetzt, da ich dies behoben und eine 301-Weiterleitung hinzugefügt habe, um umzuleiten mysite.co.za
, www.mysite.co.za
würde ich es lieben, wenn Google Bot einen Besuch abstatten würde.
Kann ich irgendetwas tun, um dieses Problem zu beheben?
Antworten:
Dave hat Recht mit dem Geld (virtuell +1, da meine Punktzahl immer noch zu niedrig ist)
Bitte machen Sie Folgendes
Dies wird die Dinge beschleunigen, aber erwarten Sie keine sofortigen Ergebnisse.
quelle
Sie können jetzt das Tool "Als Googlebot abrufen" in den Google Webmaster-Tools verwenden, um Google davon zu überzeugen, eine Seite erneut zu crawlen (oder zum ersten Mal zu crawlen ) - http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / submit-urls-to-google-with-fetch-as.html
quelle
Sie sollten auch
#
die erste Zeile auskommentieren (mit einem Präfix versehen ).Google sollte Ihre robots.txt-Datei recht schnell (innerhalb weniger Tage, abhängig von den Cache-Headern Ihrer Website) erneut abrufen. Es kann jedoch eine Weile dauern, bis Ihre Website neu indiziert wird. Leider müssen Sie wahrscheinlich nur geduldig sein.
quelle
Ich möchte hinzufügen, dass es nicht erforderlich ist, eine robots.txt-Datei auf Ihrer Website hinzuzufügen, damit sie gecrawlt wird. Ich habe viele Leute gefunden, die falsche Vorstellungen über die robots.txt-Datei haben. Suchmaschinen-Bots crawlen Ihre Website, obwohl sie nicht über die robots.txt-Datei verfügen.
Wenn Sie der Suchmaschine jedoch keinen Inhalt anzeigen möchten, ist robots.txt erforderlich.
In Ihrem Fall führen die folgenden Schritte dazu, dass Ihre Website schnell gecrawlt wird:
quelle