Als «internet-archive» getaggte Fragen

Kontrolle über das Internet-Archiv neben nur "Disallow /"?

Gibt es Mechanismen, um zu steuern, was das Internetarchiv auf einer Site archiviert? Ich kann alle Seiten, die ich hinzufügen kann , nicht zulassen : User-agent: ia_archiver Disallow: / Kann ich dem Bot mitteilen, dass er meine Website einmal im Monat oder einmal im Jahr crawlen soll? Ich habe...

Wie kann ich den archive.org-Bot richtig (dis) zulassen? Haben sich die Dinge geändert, wenn ja, wann?

Ich habe eine Website, die ich meistens nicht von Suchmaschinen indizieren möchte, aber ich möchte sie auf archive.org für immer behalten. Also robots.txtfängt mein damit an: User-agent: * Disallow: / Laut archive.org muss ich heute Folgendes in mein hinzufügen robots.txt, um ihre Bots zuzulassen:...