Warum ist Disallow: / search in der robots.txt von Blogger?

7

Kann mir jemand sagen, was dies in der "robots.txt" -Datei von Blogger bedeutet? Muss ich etwas darin bearbeiten? Soll ich /searchaus der Disallow:Leitung entfernen ?

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://css3wdesign.blogspot.com/sitemap.xml
robots.txt blogger blogspot Arximughal
quelle

Antworten:

7

Neben der Antwort von Closetnoc ...

Soll ich /searchaus der Disallow:Leitung entfernen ?

Nein. Es ist eine gute Idee, Bots daran zu hindern, Ihre Suchergebnisse zu crawlen (worauf sich dies vermutlich bezieht).

Normalerweise möchten Sie nicht, dass Ihre Suchergebnisseiten auf den Suchergebnisseiten von Google angezeigt werden! Und Google will das auch nicht. Google möchte Ihre tatsächlichen Seiten indizieren und diese in den SERPs zurückgeben. Wenn Sie Bots erlauben, Ihre Suchergebnisse zu crawlen (die möglicherweise unendlich sein können), kann dies auch viel unnötige Bandbreite beanspruchen.

Allerdings Mediapartners-Google(Google AdSense - Bot) erlaubt Ihre / Suchergebnisse zu kriechen. Ich glaube, dies ist notwendig, wenn Sie Anzeigen von Ihren Suchergebnisseiten schalten möchten.

Muss ich etwas darin bearbeiten?

Nicht, wenn Sie nicht möchten, dass einige Bots bestimmte Bereiche Ihrer Website crawlen. Beachten Sie, dass einige Bots Ihre robots.txt-Datei ohnehin vollständig ignorieren.

Herr weiß
quelle
1
Hervorragende Ergänzungen! Ich glaube, ich habe meine Antwort etwas zu kurz vor dem Nickerchen geschrieben. ;-) +1 zurück atcha! Vielen Dank für
Ihre Teilnahme
2
In diesem Blogbeitrag von Google, Matt Cutts, wird erläutert, warum Google Ihre Suchergebnisse nicht indizieren möchte und warum Websites bestraft werden, auf denen die Websitesuche gecrawlt
Stephen Ostermiller
1
Tatsächlich wird die / Suche nicht nur zum Suchen von Blogposts auf Blogspot-Blogs erstellt. Es wird auch in Labels (Kategorie) -Links wie verwendet. https://search.googleblog.com/search/label/mobileUnd die Labels-Links werden meistens am Ende des Blog-Beitrags angezeigt. Daher denke ich, dass das Blogger-Team /label/außerhalb des /search/Verzeichnisses einschließen sollte , damit es ordnungsgemäß gecrawlt wird .
Goyllo
3

Robots.txt ist eine Möglichkeit, Bots (Roboteragenten) mitzuteilen, wohin sie gehen können und wohin nicht. Es befindet sich als Standard im Stammverzeichnis Ihrer Website und ist leicht zu finden. So einfach ist das wirklich.

In Ihrem Beispiel:

User-Agent: Mediapartners-Google ist nicht unzulässig. Das Verbot: Wenn nichts folgt, ist ein Zulassen aller (ohne Einschränkung).

User-Agent: * ist eine Anweisung, die für alle Bots gilt, um den Zugriff auf URI / Suche (example.com/search) zu verbieten und anderweitig den Zugriff auf die Site zu ermöglichen.

Sitemap: teilt Bots mit, dass eine Sitemap verfügbar ist. Eine Sitemap ist eine XML-formatierte Datei (eine standardisierte Datenauszeichnungssprache), in der die Seiten Ihrer Site aufgelistet sind. Dies ist praktisch für Suchmaschinen, um die Seiten Ihrer Websites zu kennen. Sitemaps sind nicht immer erforderlich. Wenn jedoch einige Seiten für eine Suchmaschine nicht leicht verfügbar sind, erleichtert die Sitemap der Suchmaschine das Auffinden unserer Seite.

Schranknoc
quelle
1
"User-Agent: * ist eine Direktive, die für alle Bots gilt" ... die keiner der anderen Gruppen entsprechen , daher stimmt sie nicht mit dem Bot "Mediapartners-Google" überein. (+1)
MrWhite
2

Robots.txt ist eine Datei, die andere Websites, ISPs und Suchmaschinen verwenden, um Sie zu "fragen", was zu besuchen ist. Sie können alle oder bestimmte Bots aus Bereichen Ihres Reiches auf die Whitelist oder Blacklist setzen. Es ist wie ein Vertrag. Es ist ein Versprechen. Gute Dinge halten das Versprechen, schlechte Dinge nicht.

Was die Suche betrifft: Ich stimme zu, dass es in der Vergangenheit keine gute Praxis war, Robotern zu erlauben, die Suche zu treffen. Heutzutage kann es gut funktionieren, Google die Suche zu ermöglichen . zumindest in bestimmten Nischen; und Sie brauchen nicht einmal Such-Caching.

Die robots.txt-Dateien auf unseren Plattformen variieren, aber wir lassen die Suche immer unkommentiert aus (AKA-Roboter dürfen suchen, können aber bei Bedarf nicht kommentiert werden). Es gibt einige Gründe:

  • Füllt SEO aus - manchmal sehen Sie ein Popup-Fenster mit Suchergebnissen für Kategorienischen, die Sie verpasst haben.
  • Füllt LSI aus - hilft Ihnen dabei, Organics automatisch aus Organics zu erstellen
  • Kann RDF helfen - dies ist ein Vorteil, aber wenn Sie G erlauben, zu suchen, werden Rich Snippets möglicherweise schneller verfügbar
  • Macht Autorität - Sehen Sie eine Suchseite SERP-Ergebnis dominiert organische Stoffe? Verwandle es in einen Lander, um PR zu erhalten
  • Hilft G zu verstehen - zwischen Tab-Suche in der Adressleiste, Teach-Teach-Teach und Webmaster-Tools zur Abfrage von Zeichenfolgenparametern wird G verstehen und helfen.

Suchen Sie nach Bereichen in G Analytics, G Webmaster-Tools und anderen G Bereichen, um die Suche jetzt und in Zukunft einzurichten.

Dhaupin
quelle