Wie kann ich feststellen, wie oft Google meine Website crawlt?

7

Ich habe eine relativ neue Website gestartet und sie bei Google und allem eingereicht. Ich benutze auch die Webmaster-Tools von Google. Ich frage mich, wie ich herausfinden kann, wie häufig Google Spider auf meine Website zugreift. Ich höre immer Leute in Foren über "Ich bekomme 250 Seiten pro Stunde gecrawlt" und so weiter ... Gibt es Software zur Verwendung? Eine Javascript-Methode ähnlich wie Google Analytics? Oder gibt es etwas, um die Protokolle meines Servers zu analysieren? Vielen Dank

website google web-crawler
quelle

Antworten:

4

Überprüfen Sie einfach die Webserver-Protokolle, wenn der User-AgentAnforderungsheader des Besuchers übereinstimmt / enthält Googlebot. Es gibt viele Webserver Log Analyzer-Tools , entweder kostenlos oder Payware. Die meisten von ihnen können auch Bots kategorisieren. Von allen habe ich die beste Erfahrung mit Google Analytics gemacht .

BalusC
quelle
Ah danke. Können Sie mir sagen, wie die Protokolldatei wahrscheinlich heißen wird? Ich benutze einen 1and1-Server und bin ziemlich neu im Webhosting-Spiel
Sie verwenden Hosting von Drittanbietern? Wenden Sie sich an sie, um weitere Informationen zu erhalten, oder schauen Sie sich im Control Panel des Hostings um.
BalusC
Übrigens müssen Sie mit Google Analytics überhaupt nichts über Webserver-Protokolle wissen. Es läuft völlig unabhängig.
BalusC
2

Melden Sie sich bei Google Webmaster Central, auch bekannt als Webmasters Tools, an, überprüfen Sie Ihre Website und warten Sie, bis die Statistiken angezeigt werden.

Pentium10
quelle
1

Es ist ziemlich unwahrscheinlich, dass Google Bot Javascript auf Ihrer Website ausführt, das das Eintreffen verfolgt. Die beste Hoffnung besteht also darin, die Website-Protokolle selbst zu überprüfen - entweder im Webalizer oder in den Hunderten anderer Parser für Protokolldateien oder sie einfach in einem zu öffnen Texteditor und führen Sie einen regulären Ausdruck aus, um den Google Bot-Benutzeragenten zu extrahieren.

Sie sollten dann sehen, wie viele Treffer es in einem bestimmten Zeitraum macht. Wenn es zu viel ist, sollten Sie eine XML-Sitemap verwenden

Chris S.
quelle
Ja, ich hätte nicht gedacht, dass es Javascript ausführen würde. Vielen Dank für die Vorschläge
1

AWstats ist ein gutes, kostenloses Dienstprogramm für die Analyse von Protokolldateien. Zusätzlich zu den Google-Crawling-Informationen erhalten Sie viele interessante Statistiken.

Mahmoud Al-Qudsi
quelle
Ah, ich habe gerade diese Software gefunden ... Es sieht so aus, als würde sie den Trick machen. Vielen Dank!
Bitte. Wenn dies die Lösung ist, mit der Sie gehen, sollten Sie die Antwort akzeptieren :)
Mahmoud Al-Qudsi
0

Ich würde Google Analytics empfehlen. Es deckt alle Besuche Ihrer Website ab und Sie können herausfinden, ob ein Besucher ein Bot war oder nicht. Es eignet sich auch hervorragend für die Suchmaschinenoptimierung auf Ihrer Website, um die Besucherzahl zu erhöhen.

Burt
quelle
1
Google Analytics enthält keine Bots, da Javascript verwendet wird, das Bots im Allgemeinen nicht ausführen.
Hmallett
0

AWstats ist ein gutes, kostenloses Dienstprogramm für die Analyse von Protokolldateien. Zusätzlich zu den Google-Crawling-Informationen erhalten Sie viele interessante Statistiken.

Awstats ist in der Tat ein großartiges Werkzeug

Camy
quelle
0

Sie können Google Webmaster-Tools verwenden. Hier erfahren Sie, wie oft der Bot Ihre Website gecrawlt hat ...

Jacob
quelle