Wo ist die robots.txt für eine WordPress Multisite-Installation gespeichert?

9

Google Webmaster-Tools können es sehen, aber ich kann es nicht finden. Irgendeine Idee, wie es generiert wird oder wo es die Dateistruktur ist? Ich sehe die Datei nicht in meinem Stammverzeichnis. Meine Website befindet sich unter http://mikewills.me und die URL der robots.txt-Datei lautet http://mikewills.me/robots.txt .

Am Ende indiziert Google meine Website nicht und ich versuche herauszufinden, wie die robots.txt so bearbeitet werden kann, dass die Indizierung zulässig ist. Ich habe die Datenschutzoption geändert, um die Indizierung zuzulassen, aber die robots.txt wurde dadurch nicht aktualisiert.

multisite Mike Wills
quelle
Site-Link? robots.txt ist unwahrscheinlich, etwas mit WP zu tun zu haben ...
Rarst

Antworten:

11

Es wird dynamisch von der Funktion generiert do_robots(), die sowohl eine Aktion ( do_robotstxt) als auch einen Filter ( robots_txt) enthält. Wenn Sie eine robots.txtDatei in Ihrem WordPress-Stammverzeichnis erstellen , wird sie (wahrscheinlich) bereitgestellt, wenn Sie /robots.txtdazu aufgefordert werden. Andernfalls wird die Verarbeitung auf WordPress zurückgesetzt.

Ihre aktuelle Datei sieht folgendermaßen aus:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Die ersten beiden Einstellungen sind für ein indizierbares Blog geeignet. Möglicherweise warten Sie an dieser Stelle nur auf Google. Möglicherweise müssen Sie eine erneute Überprüfung Ihrer Website beantragen .

Annika Backstrom
quelle
Danke für die Auskunft. Ich war unter dieser Annahme. Ich hatte Angst, das Verbot zu sehen. Also ist das okay?
Mike Wills
2
@ Mike: Ja, das ist OK. Was Sie jetzt sagen, ist: "Hey Roboter, deren User-agentÜbereinstimmung *(also alle Roboter), die Liste der Seiten, auf die Sie nicht zugreifen können, ist [empty]." Dies bedeutet, dass sie auf alle Seiten zugreifen können.
Jan Fabry
Das Hinzufügen von robots.txt zum Stammverzeichnis scheint nicht zu funktionieren, dient jedoch weiterhin dem von WordPress generierten. Gibt es keine Möglichkeit, die robots.txt hinzuzufügen oder zu ändern, ohne ein Plug-In zu installieren?
Nick
3

robots.txt wird dynamisch erstellt. Es gibt keine robots.txt-Datei. Installieren Sie ein robot.txt-Plugin, um Ihr Problem zu lösen. Hoffe das hilft

user1167
quelle