Ich habe zwei Sites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen
http://example.com/first_url
http://example.com/second_url
Unter diesen beiden URLs befinden sich unzählige Seiten
http://example.com/first_url/product1
http://example.com/first_url/product2
http://example.com/first_url/product3
http://example.com/second_url/product1
http://example.com/second_url/product2
http://example.com/second_url/product3
Wie verbiete ich die Haupt-URL /first_url
und /second_url
auch alle Unterseiten und Unterverzeichnisse? Ich habe mir so etwas überlegt, aber ich weiß nicht, ob das funktioniert oder nicht und ob es die richtige Syntax war
Disallow: /first_url/*/
Disallow: /second_url/*/
seo
robots.txt
Stephen Ostermiller
quelle
quelle
Antworten:
Sie brauchen den abschließenden Schrägstrich nicht, um diese Verzeichnisse zu blockieren. Das wird funktionieren:
Diese Google-Hilfeseite deckt dies ziemlich gut ab.
quelle
Sie können dies als Standard verwenden
robots.txt
:Mit dem Stern kann alles unter dieser Kategorie nicht zugelassen werden. Sie können sogar eine bestimmte Sache unter dieser Kategorie verbieten, indem Sie diese bestimmte URL eingeben.
quelle