Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
web-crawlers
robots.txt
user-agent
Davidcondrey
quelle
quelle
user-agent: *gefolgt von der Nichtzulassung? Ist die Liste der "erlaubten" Benutzeragenten länger als die Liste, die Sie nicht zulassen möchten?Antworten:
Ja. Angenommen, Ihre Agentennamen sind korrekt angegeben, sollte dies funktionieren. Hier ist eine Ressource, wenn Sie mehr lesen möchten. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
quelle