Wie bewerte ich das Crawlen meines IP-Blocks durch Google?

Ich habe mehrere Websites in einem /24Netzwerk, die alle regelmäßig von Google gecrawlt werden. Normalerweise ist das in Ordnung. Wenn Google jedoch alle Websites gleichzeitig crawlt, kann die kleine Anzahl von Servern, die diesen IP-Block unterstützen, beim Laden einen ziemlich großen Einfluss haben.

Mit den Google Webmaster-Tools können Sie den Googlebot für eine bestimmte Domain bewerten, aber ich habe noch keine Möglichkeit gefunden, den Bot in einem IP-Netzwerk einzuschränken. Hat jemand Erfahrung damit? Wie hast du das behoben?

Wenn Sie BGP ausführen, können Sie AS15169 (AS-GOOGLE) einfach mit einer Ratenbegrenzung versehen, aber dies von Hand zu tun, ist wahrscheinlich viel zu fehleranfällig.

Ich fand diese Notizen interessant zu verfolgen

1. Holen Sie sich dort eine intelligente robots.txt und andere robots.txt- Beiträge
2. Ein Beitrag auf Googles Dirty Little Secret von jemandem, der Probleme mit Google Bots hat
3. Google Webcrawler

Sie können zu Google gehen und mit dem Webmaster-Tool ein Konto erstellen. Anschließend können Sie die Crawling- Rate für jede Website steuern . Gehen Sie zu Site Configuration :: Settings :: Crawl Rate. Auf diese Weise können Sie Ihre Websites nicht in einer bestimmten Reihenfolge planen, glaube ich nicht, aber Sie können sie zumindest für alle verlangsamen.

Nein, nicht roable. Sie müssen das auf jeder Site in eine robots.txt einfügen. Google muss zu Recht nicht sozusagen für "IP-Adressinhaber" werben. Alle Kontrolle kommt von der robots.txt auf den Websites.