Auf einem Webserver muss ich jetzt noch administrieren, dass mir aufgefallen ist, dass die robots.txt leer ist. Ich fragte mich, ob es einen Unterschied zwischen einer leeren robots.txt und gar keiner Datei gibt.
Verhalten sich Crawler in diesen beiden Fällen unterschiedlich? Ist es also sicher, nur eine leere robots.txt zu löschen?
quelle