Wie verbiete ich ein gesamtes Verzeichnis mit robots.txt?

19

Ich habe zwei Sites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen

http://example.com/first_url 
http://example.com/second_url 

Unter diesen beiden URLs befinden sich unzählige Seiten

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Wie verbiete ich die Haupt-URL /first_urlund /second_urlauch alle Unterseiten und Unterverzeichnisse? Ich habe mir so etwas überlegt, aber ich weiß nicht, ob das funktioniert oder nicht und ob es die richtige Syntax war

Disallow: /first_url/*/
Disallow: /second_url/*/
Stephen Ostermiller
quelle
1
Ich denke, Ihre Syntax ist richtig, aber nicht sicher über das Extra /

Antworten:

26

Sie brauchen den abschließenden Schrägstrich nicht, um diese Verzeichnisse zu blockieren. Das wird funktionieren:

Disallow: /first_url/*
Disallow: /second_url/*

Diese Google-Hilfeseite deckt dies ziemlich gut ab.

John Conde
quelle
7
Sie können einfach "Disallow: / first_url" ausführen. Der nachfolgende Platzhalter wird ignoriert. Laut developer.google.com/webmasters/control-crawl-index/docs/…
Evgenii
Sie benötigen Disallow: / url / *, um beispielsweise example.com/url/test?test=1
Gareth Daine
-1

Sie können dies als Standard verwenden robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Mit dem Stern kann alles unter dieser Kategorie nicht zugelassen werden. Sie können sogar eine bestimmte Sache unter dieser Kategorie verbieten, indem Sie diese bestimmte URL eingeben.

SAF
quelle
4
Dies unterscheidet sich nicht von der akzeptierten Antwort, es sei denn, Sie verpassen den ersten Schrägstrich. Nicht zulässige Regeln in robots.txt sollten alle mit einem Schrägstrich beginnen. So sind alle Beispiele in der Dokumentation
Stephen Ostermiller