Ich wurde beauftragt, einen Blick auf unsere Suchmaschinenoptimierung zu werfen (ein Bereich, in dem ich einige, aber keine erstaunliche Kompetenz habe), und als erstes fiel mir auf, dass in unserer robots.txt-Datei Folgendes steht:
# go away
User-agent: *
Disallow: /
Jetzt bin ich ziemlich kompetent im Lesen von Computern, und soweit ich das beurteilen kann, heißt das, dass ALLE Spinnen nichts im Stammverzeichnis oder darunter anschauen sollten.
Lese ich das richtig Weil das einfach verrückt erscheint.
quelle