Können wir Regex in der robots.txt-Datei verwenden, um URLs zu blockieren?
Ich habe ein paar dynamisch generierte URLs. Kann ich Regex verwenden, um diese URLs in einer robots.txt-Datei zu