Als «robots.txt» getaggte Fragen

Ich hätte gerne eine Liste der Dateien, die auf jeder Website vorhanden sein sollten. Die Idee ist, die meisten Browser und Bots zufrieden zu stellen und die Anzahl der 404 Nachrichten in den Protokollen zu ermitteln. Bisher habe ich folgende Dateien: /favicon.ico /robots.txt /sitemap.xml...

Wenn ich kein spezielles Verhalten festlegen möchte, ist es in Ordnung, wenn ich keine robots.txt-Datei benötige? Oder kann das Fehlen eines schädlich

Auf einem Webserver muss ich jetzt noch administrieren, dass mir aufgefallen ist, dass die robots.txt leer ist. Ich fragte mich, ob es einen Unterschied zwischen einer leeren robots.txt und gar keiner Datei gibt. Verhalten sich Crawler in diesen beiden Fällen unterschiedlich? Ist es also sicher,...

Ich habe ein paar dynamisch generierte URLs. Kann ich Regex verwenden, um diese URLs in einer robots.txt-Datei zu

Diese Frage wurde von Stack Overflow migriert, da sie in Webmasters Stack Exchange beantwortet werden kann. Vor 8 Jahren migriert . Ich habe zwei Sites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen...

Ich habe einige Seiten auf meiner Website, von denen ich Suchmaschinen fernhalten möchte, daher habe ich sie in meiner robots.txtDatei wie folgt deaktiviert : User-Agent: * Disallow: /email Vor kurzem habe ich jedoch festgestellt, dass Google immer noch manchmal Links zu diesen Seiten in den...

Ich habe vor einer Woche eine robots.txt- Datei zu einer meiner Websites hinzugefügt , die Googlebot daran hindern sollte, bestimmte URLs abzurufen. An diesem Wochenende kann ich jedoch feststellen, dass Googlebot genau diese URLs lädt. Zwischenspeichert Google die Datei robots.txt und sollte dies...

Ich habe ein Unterverzeichnis, das ich vor den Suchmaschinen-Webcrawlern verstecken möchte. Eine Möglichkeit, dies zu tun, ist die Verwendung von a robots.txtim Stammverzeichnis des Servers (die Standardmethode). Jeder, der die URL der Website kennt und über grundlegende Webkenntnisse verfügt, kann...

Können Sie mir bitte mitteilen, wie Sie solche URLs robots.txtfür Googlebots blockieren können , um die Indizierung zu beenden? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Meine Website wurde gehackt, was nun wiederhergestellt ist, aber der Hacker hat 5000 URLs in Google indiziert und...

Ich mag es nicht, dass ich viele 404-Fehler im access.log meines Webservers sehe . Ich erhalte diese Fehler, weil Crawler versuchen, eine robots.txt- Datei zu öffnen , aber keine finden konnten. Daher möchte ich eine einfache robots.txt- Datei platzieren, die verhindert, dass die 404-Fehler in...

Es gibt einige Seiten auf meiner Website, die der Benutzer nur besuchen darf, wenn ich ihm die URL gebe. Wenn ich die einzelnen Seiten nicht zulasse robots.txt, sind sie für jeden sichtbar, der sie untersucht. Meine Frage ist: Wenn ich sie nicht von irgendwoher oder zumindest von irgendeiner...

Sind CSS und Templates in robots.txt erlaubt ? Sollte es irgendwelche Probleme verursachen? In Joomla sind CSS und Templates in der robots.txt nicht erlaubt . Bitte helfen Sie mir, eine Lösung dafür zu finden, ob Roboter für CSS, Vorlagen usw. für meine kommenden Websites verboten sind oder...

Ich habe eine Unterdomäne, die ich in keinem Suchmaschinenergebnis auflisten möchte. Angenommen, ich habe: http://www.example.com http://child.example.com Wie kann ich alle URLs der child.example.comDomain ausblenden, die derzeit in den Suchmaschinenergebnissen angezeigt

Nachdem ich eine Reihe von Bots geschrieben und die enormen Mengen an zufälligen Bots gesehen habe, die zufällig eine Site crawlen, frage ich mich als Webmaster, welche Bots es wirklich wert sind, auf eine Site gelassen zu werden. Mein erster Gedanke ist, dass das Zulassen von Bots auf der Website...

Das ist meine robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Die Google Webmaster-Tools sagen mir jedoch, dass Roboter den Zugriff auf die Sitemap blockieren: Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler...

Ich habe die Antworten in dieser Frage gelesen, aber meine Frage bleibt offen: Zwischenspeichert Google robots.txt? Ich habe in den Google Webmaster-Tools keine Möglichkeit gefunden, einen erneuten Download meiner robots.txt aufzurufen . Durch einen Fehler wurde meine robots.txt ersetzt durch:...

Ich habe eine zweisprachige Website mit einem Sitemap-Index für jede Sprache, der auf mehrere verschiedene Sitemaps verweist (eine für Videos, eine für statische Inhalte und eine für Artikel). Ich möchte eine weitere Sitemap einführen, die die Sitemap-Indizes verknüpft, damit ich diese Sitemap in...

Weil es sicher so aussieht. Für meine Websites ist das Bilderverzeichnis nicht zulässig, und in den Voransichten fehlen alle Bilder, wodurch die Website wackelig aussieht. Ist dies der Fall und gibt es eine Möglichkeit, nur dem Vorschau-Bot den Zugriff auf Bilder mit robots.txt zu ermöglichen?...

Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo...

Ich habe eine Website, die ich meistens nicht von Suchmaschinen indizieren möchte, aber ich möchte sie auf archive.org für immer behalten. Also robots.txtfängt mein damit an: User-agent: * Disallow: / Laut archive.org muss ich heute Folgendes in mein hinzufügen robots.txt, um ihre Bots zuzulassen:...