Als «googlebot» getaggte Fragen

Googlebot ist die Bot-Software, mit der Google täglich über 20 Milliarden Seiten crawlt. Die beim Crawlen erhaltenen Daten werden dann analysiert und in der Google-Suche eingestuft.

17
Zwischenspeichert Google robots.txt?

Ich habe vor einer Woche eine robots.txt- Datei zu einer meiner Websites hinzugefügt , die Googlebot daran hindern sollte, bestimmte URLs abzurufen. An diesem Wochenende kann ich jedoch feststellen, dass Googlebot genau diese URLs lädt. Zwischenspeichert Google die Datei robots.txt und sollte dies...

15
SEO - Responsive Website und doppelte Menüs

Immer wenn ich eine Responsive-Website erstelle, erstelle ich normalerweise zwei Menüs: 1 ausgeblendet und für Mobilgeräte verwendet und das andere als Hauptmenü angezeigt und dann ausgeblendet, um das Mobilmenü anzuzeigen. Wann immer es um SEO und Spinnen geht, die auf der Website navigieren,...

10
Senden Search Engine Spider POST-Formulare?

Wenn ich Inhalt hinter einem POST-Formular habe (in meinem Fall ein Auswahlfeld), können Googlebot oder andere Suchmaschinenspinnen den Inhalt hinter diesem Formular crawlen? Wenn ich beispielsweise 4 Übersetzungen einer Seite hätte und die Sprachauswahl ein POST-Formular für dieselbe URL wäre, das...

8
Googlebot über veraltete Seiten informieren

Ich veröffentliche Fahrpläne auf meiner Website. Zum Beispiel im letzten Jahr veröffentlichte ich Number 2 bus Summer 2013 timetable. Ich habe ein ziemlich gutes Ranking bei Google SERPs fürnumber 2 bus timetable Aber dieses Jahr habe ich eine neue Seite mit dem Namen "Nummer 2 Bus Sommer 2014...