Ist das Zeilenendformat von robots.txt wichtig?

Einfache Frage: Sollte ich sicherstellen, dass für meine robots.txt Unix-Zeilenenden verwendet werden, oder spielt das keine Rolle?

Es spielt keine Rolle. Nach der Spezifikation:

Die Datei besteht aus einem oder mehreren Datensätzen, die durch eine oder mehrere Leerzeilen getrennt sind (abgeschlossen durch CR, CR / NL oder NL).

• CR = Wagenrücklauf (dh \ r)
• CR / NL = Wagenrücklauf / Neue Zeile (dh \ r \ n)
• NL = Neue Zeile (dh \ n)

Dies bedeutet, dass Sie verwenden können \r. \n, oder \r\nund es wird funktionieren.