Ich bin heute in meinen SEO-Nachrichten auf diesen Artikel gestoßen. Es scheint zu implizieren, dass Sie Noindex:
zusätzlich zu den Standardanweisungen Disallow:
in robots.txt Direktiven verwenden können .
Disallow: /page-one.html
Noindex: /page-two.html
Es scheint, als würde dies verhindern, dass Suchmaschinen Seite eins crawlen und Seite zwei indizieren.
Wird diese robots.txt- Direktive von Google und anderen Suchmaschinen unterstützt? Funktioniert es? Ist es dokumentiert?
web-crawlers
robots.txt
googlebot
noindex
Stephen Ostermiller
quelle
quelle
disallow
Google keine Links auf den übergeordneten und untergeordneten Seiten mehr entdeckt, falls vorhanden. Währendnoindex
die Liste einfach angehalten wird, wird die Erkennung nicht gestoppt, solange dies nicht zulässig ist.nofollow
für Meta-Tags funktioniert. Es wäre schön zu wissen, ob dies auch für robots.txt der Fall ist .<a rel="no-follow">
. Ich sehe keinen Grund, warum es anders behandelt würde. Offensichtlich ist dies nicht offiziell und es wird sogar von John Muller empfohlen, es nicht in der robots.txt zu verwenden, aber abgesehen von seinem Tweet habe ich nicht viele Informationen darüber gefunden.Noindex
Direktive inrobots.txt
Dateien nicht mehr als Fehler kennzeichnet.Antworten:
Früher unterstützte Google inoffiziell eine
Noindex
Richtlinie in robots.txt. 2019 kündigten sie jedoch an, dass die Richtlinie nicht mehr funktionieren wird.Das sagt John Mueller von
Noindex:
Google in robots.txt :Bevor Google bekannt gab, dass die Funktion eingestellt wurde, führte deepcrawl.com einige Tests der Funktion durch und stellte fest, dass:
Da Google die Funktion eingestellt hat, sollte sie nicht mehr verwendet werden.
Verwenden Sie stattdessen Roboter-Meta-Tags, die gut unterstützt und dokumentiert werden , um eine Indizierung zu verhindern:
quelle