Gibt es Mechanismen, um zu steuern, was das Internetarchiv auf einer Site archiviert? Ich kann alle Seiten, die ich hinzufügen kann , nicht zulassen : User-agent: ia_archiver Disallow: / Kann ich dem Bot mitteilen, dass er meine Website einmal im Monat oder einmal im Jahr crawlen soll? Ich habe...