Sind CSS und Templates in robots.txt erlaubt ?
Sollte es irgendwelche Probleme verursachen?
In Joomla sind CSS und Templates in der robots.txt nicht erlaubt . Bitte helfen Sie mir, eine Lösung dafür zu finden, ob Roboter für CSS, Vorlagen usw. für meine kommenden Websites verboten sind oder nicht.
css
robots.txt
Manju George
quelle
quelle
Antworten:
Google hat vor kurzem seine Richtlinien aktualisiert und offiziell festgelegt, dass der Zugriff auf CSS- oder JS-Dateien in robots.txt nicht blockiert werden darf . Auf diese Weise wird sichergestellt, dass Google die Website beim Crawlen genau so rendern kann, wie es ein Browser tun würde.
Wenn Sie CSS- oder JS-Dateien blockieren, kann dies die Leistung Ihrer Website im Ranking beeinträchtigen.
Weitere Informationen finden Sie hier: Aktualisierung unserer technischen Richtlinien für Webmaster und hier: Richtlinien für Webmaster
Da dies eine aktuelle Empfehlung ist, werden auf vielen Websites und CMS (wie Joomla) solche Dateien häufig in robots.txt blockiert . Der Grund dafür war in der Regel, dass Suchmaschinen diese Dateien nicht crawlen oder indizieren mussten. Um zu verhindern, dass unnötige Dateien und Verzeichnisse indiziert werden, und um das Crawling-Budget zu sparen, wurden diese häufig in robots.txt blockiert .
quelle
Die Strategie für Ihre robots.txt sollte immer mit der Frage beantwortet werden, welche Abschnitte meines Webs nicht von einem Roboter gecrawlt werden dürfen und welche Abschnitte von einem Roboter gecrawlt werden dürfen .
Roboter implementieren ihre eigene Logik und haben mehrere Zwecke (nicht nur Google hat einen Crawler ...). Wenn Sie also davon ausgehen, dass ein Roboter von Ihren CSS- und JS-Dateien abgelenkt wird, öffnen Sie die Blackbox des Roboters und nehmen an, was Die aktuelle Implementierung und die aktuelle Absicht des Roboters ist. Dies ist keine nützliche langfristige Strategie.
Anstatt in der Domäne des Roboters zu denken, versuchen Sie, in der Inhaltsdomäne Ihres Webs zu denken.
Ich möchte darauf hinweisen, dass eine robots.txt- Datei kein Sicherheitsmechanismus ist.
quelle
Vorlagen werden von der Blogging- oder Content-Management-Software (CMS) verwendet und sollten nicht extern zugänglich sein, da CSS vom Browser und den Suchmaschinen gelesen und gelesen werden sollte. Abgesehen davon würde ich keines von beiden blockieren, aber ich würde auch keines ändern, das vom CMS stammt. Suchmaschinen und Bots interessieren sich nicht für Ihre Vorlagen. Blockieren Sie einfach den Zugriff auf Ihre Website über URL / URI, die Sie nicht indizieren oder lesen möchten, aber betrachten Sie robots.txt nicht als Sicherheitstool. Es ist nicht dafür ausgelegt.
quelle