Crawlt Google Drupal-Websites im Wartungsmodus?

10

Ich verwende Aegir, um Kopien meiner Website unter einem Subdomainnamen, dh test.mydomain.com, zu klonen. Diese Kopien befinden sich im Wartungsmodus, um Spammer und neugierige Blicke fernzuhalten. Ich verwende diese Kopien dann, um Tests und Entwicklungsarbeiten durchzuführen, bevor ich Änderungen an meiner Hauptseite mydomain.com vornehme

Aber verletze ich meine SEO durch die Existenz dieser geklonten Websites? Crawlt Google Websites, die in den Wartungsmodus versetzt wurden? Wird es mich dafür bestrafen, dass ich so viele Sackgassen-Subdomains habe?

multi-sites maintenance-mode aegir Meggy
quelle
3
Diese Frage scheint nicht zum Thema zu gehören, da es sich um interne Algorithmen von Google handelt, nicht um etwas, das speziell mit Drupal zusammenhängt, oder um etwas, das wir jemals mit einem signifikanten Maß an Vertrauen wissen werden.
Mołot
7
@ Mołot Wie kann das nicht themenbezogen sein? Der Wartungsmodus ist eine Funktion von Drupal. Es gibt Methoden, um dieses Szenario richtig zu behandeln. Die Frage, ob Drupal das Richtige tut, ist für zukünftige Leser von Nutzen.
mpdonadio
2
@MPD zumindest Teil "Wird es mich dafür bestrafen, dass ich so viele Sackgassen-Subdomains habe" ist völlig unabhängig von Drupal. Die Art und Weise, wie Google im Wartungsmodus auf eine Seite geleitet wird, hängt ebenfalls nicht mit Drupal zusammen.
Mołot

Antworten:

21

Wenn Sie eine Drupal-Site in den Wartungsmodus versetzen, wird Nicht-Administratoren die Seite mit dem Standardwartungsmodus angezeigt (vorausgesetzt, Sie löschen danach die Caches). Wenn Sie die Antwort untersuchen, werden Sie feststellen, dass sie mit einem HTTP-Statuscode von 503 zurückgesendet wird, der von RFC 2616 lautet:

503 Dienst nicht verfügbar
Der Server kann die Anforderung derzeit aufgrund einer vorübergehenden Überlastung oder Wartung des Servers nicht verarbeiten. Die Implikation ist, dass dies ein vorübergehender Zustand ist, der nach einiger Verzögerung gelindert wird. Falls bekannt, kann die Länge der Verzögerung in einem Retry-After-Header angegeben werden. Wenn kein Retry-After angegeben ist, MUSS der Client die Antwort wie bei einer 500-Antwort behandeln.

Und aus dem offiziellen Google Webmaster-Blog :

Wenn meine Website wegen Wartungsarbeiten nicht verfügbar ist, wie kann ich Googlebot anweisen, später zurückzukehren, anstatt die Seite "wegen Wartungsarbeiten nicht verfügbar" zu indizieren?
Sie sollten Ihren Server so konfigurieren, dass er den Status 503 (Netzwerk nicht verfügbar) anstelle von 200 (erfolgreich) zurückgibt. Dadurch kann Googlebot die Seiten später erneut versuchen.

Dies zeigt, dass Drupal das Richtige tut und dass Google Ihre Website und Indexseiten erneut besucht, wenn es das nächste Mal einen Nicht-5XX-Statuscode erhält.

mpdonadio
quelle
2
Die Benutzeranmeldeseite gibt weiterhin einen 200-OK-Statuscode zurück (und zeigt auch Blöcke und solche an, die normalerweise im Wartungsmodus nicht sichtbar sind ( # 722434 )). robots.txt verfügt jedoch über eine Disallow: -Direktive für die Anmeldeseite, sodass gut erzogene Bots diese weiterhin nicht indizieren.
Garrett Albright
Dies ist ein guter Punkt in Bezug auf die Wartungsseite selbst. Der 503-Antwortcode bedeutet, dass Google diese Wartungsseite nicht indiziert.
David Thomas
6

Wenn Sie nichts Benutzerdefiniertes getan haben, um dies zuzulassen, kann Google Ihre Website im Wartungsmodus nicht crawlen.

Da Sie zum Anzeigen angemeldet sein müssen, wird in Googlebot die angegebene Wartungsseite angezeigt.

Weitere Richtlinien von Google finden Sie unter den folgenden Links:

David Thomas
quelle
Ich denke, der Punkt war, dass Sie nicht möchten, dass Google die Wartungsseite indiziert.
Fuzzy76
2

Ihre Anliegen:

Wenn Sie nicht wissen, ob der Wartungsmodus "alles, was Sie blockieren möchten" zu 100% (!) Blockiert, sich aber gleichzeitig große Sorgen darüber macht, ob jemand wie Google möglicherweise noch darauf zugreifen kann. ... dann ist der Wartungsmodus möglicherweise eine schlechte Wahl, um Ihre Entwicklungssite überhaupt zu blockieren.

Empfehlung:

Persönlich empfehle ich, einfach eine .htpasswd zu Ihren Entwicklungsseiten hinzuzufügen .

Es ist einfach, auch innerhalb von Aegir-Bereitstellungen zu automatisieren. Es steht Ihnen nie im Weg, weil Ihr Browser und jedes Befehlszeilentool es für Sie überspringen können. Sie können andere Personen hereinlassen. Es blockiert die Website in 100% iger Vollständigkeit für Google usw.

user18099
quelle