Wie bewerte ich das Crawlen meines IP-Blocks durch Google?

7

Ich habe mehrere Websites in einem /24Netzwerk, die alle regelmäßig von Google gecrawlt werden. Normalerweise ist das in Ordnung. Wenn Google jedoch alle Websites gleichzeitig crawlt, kann die kleine Anzahl von Servern, die diesen IP-Block unterstützen, beim Laden einen ziemlich großen Einfluss haben.

Mit den Google Webmaster-Tools können Sie den Googlebot für eine bestimmte Domain bewerten, aber ich habe noch keine Möglichkeit gefunden, den Bot in einem IP-Netzwerk einzuschränken. Hat jemand Erfahrung damit? Wie hast du das behoben?

Zak
quelle

Antworten:

1

Wenn Sie BGP ausführen, können Sie AS15169 (AS-GOOGLE) einfach mit einer Ratenbegrenzung versehen, aber dies von Hand zu tun, ist wahrscheinlich viel zu fehleranfällig.

LapTop006
quelle
3

Sie können zu Google gehen und mit dem Webmaster-Tool ein Konto erstellen. Anschließend können Sie die Crawling- Rate für jede Website steuern . Gehen Sie zu Site Configuration :: Settings :: Crawl Rate. Auf diese Weise können Sie Ihre Websites nicht in einer bestimmten Reihenfolge planen, glaube ich nicht, aber Sie können sie zumindest für alle verlangsamen.

Kyle Brandt
quelle
-3

Nein, nicht roable. Sie müssen das auf jeder Site in eine robots.txt einfügen. Google muss zu Recht nicht sozusagen für "IP-Adressinhaber" werben. Alle Kontrolle kommt von der robots.txt auf den Websites.

TomTom
quelle