Ich habe gerade meine robots.txt-Datei auf einer neuen Site aktualisiert. Google Webmaster Tools meldet, dass es meine robots.txt 10 Minuten vor meinem letzten Update gelesen hat. Kann ich Google dazu ermutigen, meine robots.txt so schnell wie möglich erneut zu lesen? UPDATE: Unter...
Damit: Erhöhen Sie die Sicherheit meiner Website Reduzieren Sie die Bandbreitenanforderungen Ernten von E-Mail-Adressen verhindern
Ich versuche, robots.txtfür alle virtuellen Hosts unter nginx http server festzulegen. Ich konnte es in Apache tun, indem ich Folgendes in main einfügte httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Ich habe versucht, etwas...
Wir haben einen XAMPP Apache-Entwicklungswebserver mit virtuellen Hosts eingerichtet und möchten verhindern, dass Serps alle unsere Websites crawlen. Dies ist mit einer robots.txt-Datei einfach möglich. Wir möchten jedoch nicht in jedem vhost eine unzulässige robots.txt einfügen und müssen sie dann...
Wenn ich möchte, dass meine Hauptwebsite in Suchmaschinen angezeigt wird, aber keine der Subdomains vorhanden ist, sollte ich dann einfach die robots.txt "Alle nicht zulassen" in die Verzeichnisse der Subdomains einfügen? Wenn ja, kann meine Hauptdomain trotzdem gecrawlt