Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo...
Mein Code - Basis wird zwischen mehreren Umgebungen (live, Inszenierung, dev) und Sub-Domains geteilt ( staging.example, dev.exampleusw.) und nur zwei sollten gecrawlt werden dürfen (dh. www.exampleUnd example). Normalerweise würde ich ändern /robots.txtund hinzufügen Disallow: /, aber aufgrund der...
Ich verwende die folgende robots.txt-Datei für eine Site: Ziel ist es, Googlebot und Bingbot den Zugriff auf die Site mit Ausnahme der Seite zu ermöglichen /bedven/bedrijf/*und alle anderen Bots daran zu hindern, die Site zu crawlen . User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay:...
Ich benutze WordPress und /sample-post/URLs für meine Beiträge und /yyyy/mm/für die Archive. Google hat die Website vollständig indiziert. Da in den Archiven derzeit vollständige Beiträge angezeigt werden, sollte Google die Archivseiten nicht indizieren, da sie die vollständigen Beiträge enthalten...
Ich habe EXTREME Bot-Probleme auf einigen meiner Websites in meinem Hosting-Konto. Die Bots nutzen über 98% meiner CPU-Ressourcen und 99% meiner Bandbreite für mein gesamtes Hosting-Konto. Diese Bots generieren mehr als 1 GB Datenverkehr pro Stunde für meine Websites. Der tatsächliche menschliche...
Daher haben wir auf allen unseren Websites, auf denen keine Suche durchgeführt wird, eine robots.txt-Datei angewendet (siehe So schließen Sie eine Website aus den Google-Suchergebnissen in Echtzeit aus? Oder eine andere ähnliche Frage). Wenn die Suchbegriffe jedoch spezifisch genug sind, kann die...
Ich bin auf eine Ankündigung von Google gestoßen : http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Es sagt aus: Für ein optimales Rendern und Indizieren legen wir in unserer neuen Richtlinie fest, dass Sie Googlebot Zugriff auf die von Ihren Seiten...
Ich habe die folgenden drei Domänen: example1.com (Nicht verbieten) example2.com (Nicht verbieten) example3.com (ermöglichen) Alle Domains verweisen auf denselben Ordner public_html. Wie kann ich verhindern, dass Suchmaschinen Seiten in den ersten beiden Domains
Wenn ich tippe site:example.com(offensichtlich unter Verwendung meiner Domain), werden in der Liste mehrere Linkfehler angezeigt. Typischerweise haben sie die Form:/some/fixed/path/admin/unblockUser/11 Ich denke darüber nach, meiner robots.txtDatei die folgende Zeile hinzuzufügen : Disallow:...
Wenn ich das Verzeichnis / foo in robots.txt blockiere, meine XML-Sitemap jedoch URLs mit / foo enthält, werden die URLs in der Sitemap von Google und anderen Suchmaschinen erfasst? Mit anderen Worten, trumpft die Sitemap robots.txt? Ich denke schon, bin mir aber nicht
Eine Site, an der ich arbeite, hat eine Subdomain über eine 301-Umleitung in eine andere Subdomain verschoben. Beim Überprüfen von robots.txt der alten Subdomain wird jedoch eine robots.txt verwendet, die das Crawlen von Suchmaschinen-Webcrawlern nicht zulässt. Ist das der richtige Schritt? Ich...
Ich verwende einen ziemlich großen Webcrawler. Wir sind sehr bemüht, den Crawler innerhalb der akzeptierten Community-Standards zu betreiben, und dazu gehört auch die Einhaltung von robots.txt. Wir bekommen nur sehr wenige Beschwerden über den Crawler, aber wenn wir das tun, geht es hauptsächlich...
Einfache Frage: Sollte ich sicherstellen, dass für meine robots.txt Unix-Zeilenenden verwendet werden, oder spielt das keine Rolle?
Wie können Sie mit robots.txt das Stammverzeichnis einer Site (http://www.example.com/) nicht zulassen, aber ein Unterverzeichnis (http://www.example.com/lessons/)
Was ist die beste anfängliche oder allgemeine Einrichtung für die robots.txt, damit Suchmaschinen die Site durchsuchen können, aber möglicherweise einige Ordner einschränken? Gibt es ein allgemeines Setup, das immer verwendet werden
Kann mir jemand sagen, was dies in der "robots.txt" -Datei von Blogger bedeutet? Muss ich etwas darin bearbeiten? Soll ich /searchaus der Disallow:Leitung entfernen ? User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap:
Ich verwende Apache 2 und ein großer Teil unserer Seitenaufrufe stammt von Bots. Die meisten davon sind legitime wie Google und Bing. Ich möchte die Protokolle analysieren und genaue Statistiken darüber erhalten, wie viele menschliche Besucher ich habe. Daher habe ich robots.txt vorübergehend...
Gibt es irgendwelche Schäden, wenn meine Site NOINDEX-Header für alle meine statischen Assets sendet? Für Bilddateien beziehe ich mich auf solche wertlosen, z. B. Hintergrundbilder, Schaltflächenbilder usw. Update: Weitere Hintergrundinformationen Ich habe diese Sorge, seit Google kürzlich sagte,...
Ich habe einige URLs und Dateien in der robots.txt-Datei aktualisiert, um URLs und Dateien aus den Google-Suchergebnissen zu blockieren, aber immer noch Dateien, die in den Suchergebnissen angezeigt werden. Gemäß einem Vorschlag von einer Site habe ich versucht, die robots.txt durch die folgenden...
Ich möchte, dass Google meine Indexseite indiziert, aber keine anderen Seiten indiziert. User-agent: * Disallow: / Bisher habe ich das. Wenn ich dies tue, indiziert Google meine Indexseite jedoch nicht. Wenn ich meinen Namen in Google suche, wird lediglich "www.mydomain.com" als erstes Ergebnis...