"X-Robots-Tag: noindex" in einer HTTP 301-Antwort

7

Ich verstehe, dass eine Ressource mit X-Robots-Tag: noindexeinigen Suchmaschinen, einschließlich Google, die Ressource nicht weiter indiziert. Ich verstehe auch, dass eine HTTP 301-Antwort dazu führt, dass Suchmaschinen die umgeleitete URL anstelle der ursprünglichen URL verwenden, um auf die Ressource zu verweisen.

Aber was passiert, wenn beide X-Robots-Tag: noindexund der Statuscode 301 bei derselben Antwort auftreten? Es ist wahrscheinlich, dass die ursprüngliche URL nicht mehr indiziert wird, aber wird dadurch auch die umgeleitete URL nicht mehr indiziert? Diese Möglichkeit wird in der X-Robots-Tag-Spezifikation nicht erwähnt .

google search-engine-indexing Peter O.
quelle

Antworten:

4

Es sollte keine Auswirkung haben, einen X-Robots-Tag: noindexHeader auf einer 301-Umleitungs-URL zu haben.

  • Suchmaschinen indizieren ohnehin keine 301-Weiterleitungs-URLs. Dieser Tag sagt ihnen also nur, was sie bereits wissen.
  • Es sollte nicht dazu führen, dass das Ziel der Umleitung nicht indiziert wird. In diesem Fall könnte ein Angreifer mit diesem Header zu einem Konkurrenten umleiten und den Wettbewerb deindizieren lassen.
Stephen Ostermiller
quelle
Tatsächlich fügt Google beispielsweise Weiterleitungen in die Ergebnisse ein, wenn der Bot nicht berechtigt ist, das Weiterleitungsziel zu crawlen.
Schwarzbrot
@schwarzbrot: Das scheint eine nützliche Information zu sein, um eine eigene Antwort zu geben, insbesondere wenn Sie Erfahrung oder Dokumentation haben, um sie zu sichern.
Stephen Ostermiller
2

Eine Webseite kann einen 301-Header-Antwortcode zurückgeben, der einen Bot einfach anweist, nichts anderes auf dieser Seite zu beachten, sondern den Umleitungspfad zu überprüfen und den Datenverkehr über diese Umleitung weiterzuleiten.

Anschließend ist die Verwendung eines Noindex-Tags auf einer Seite, die Sie umleiten, sinnlos, da es ohnehin nicht angezeigt wird.

Bei der permanenten Umleitung (301) kommt es nur darauf an, welche Antwort die Weiterleitungsziel-URL zurückgibt.

Zigojacko
quelle
Geoff Jackson, lesen Sie noch einmal, was ich geschrieben habe.
Gollum
1

Die X-Robots-Tag: noindexhaben ein Mittel. Ich habe viele Seiten umgeleitet und nach einigen Monaten erscheint die ursprüngliche URL immer noch im Index mit dem Inhalt der Zielseite. Jetzt habe ich X-Robots-Tag: noindexTag hinzugefügt und warte auf die Ergebnisse.

Gollum
quelle
1
Haben Sie Auswirkungen auf den Index gesehen? Es ist ein ziemlich interessanter Ansatz, ich würde mich freuen, das Ergebnis zu hören ...
schwarzbrot
Gültige Frage. Was war das Ergebnis?
Ain Tohvri