Kann eine relative Sitemap-URL in einer robots.txt verwendet werden?

191

Kann ich in robots.txt die folgende relative URL für die Sitemap-Datei schreiben?

sitemap: /sitemap.ashx

Oder muss ich die vollständige (absolute) URL für die Sitemap-Datei verwenden, wie:

sitemap: http://subdomain.domain.com/sitemap.ashx

Warum ich mich frage:

  • Ich besitze einen neuen Blog-Dienst, www.domain.com, mit dem Benutzer auf accountname.domain.com bloggen können.
  • Ich verwende Platzhalter, daher verweisen alle Subdomains (Konten) auf: "blog.domain.com".

In blog.domain.com habe ich die robots.txt eingefügt, damit Suchmaschinen die Sitemap finden können. Aufgrund der Platzhalter verwenden alle Benutzerkonten dieselbe robots.txt-Datei. Deshalb kann ich die zweite Alternative nicht verwenden. Und im Moment kann ich URL Rewrite nicht für TXT-Dateien verwenden. (Ich denke, dass spätere Versionen von IIS damit umgehen können?)

seo sitemap robots.txt Easyrider
quelle

Antworten:

318

Laut der offiziellen Dokumentation auf sitemaps.org muss es sich um eine vollständige URL handeln:

Sie können den Speicherort der Sitemap mithilfe einer robots.txt-Datei angeben. Fügen Sie dazu einfach die folgende Zeile mit der vollständigen URL zur Sitemap hinzu:

Sitemap: http://www.example.com/sitemap.xml
unor
quelle
31
Bitte beachten Sie, dass das Beispiel von @ unor lautet: Sitemap mit Großbuchstaben S. Dies ist wichtig, da bei Robots.txt zwischen Groß- und Kleinschreibung unterschieden wird.
BodgeIT
19
Und zum Thema Fall gibt robotstxt.org die Datei an, die robots.txtohne die Hauptstadt R benannt werden soll
khargoosh
Wenn die Site https lädt, wird die Sitemap-URL mit http angegeben. Ist das in Ordnung? Oder müssen wir die Sitemap-URL basierend auf dem Protokoll platzieren?
Shams
4
@Shams: Die in Ihrer Sitemap aufgeführten URLs müssen dasselbe Protokoll und denselben Host wie die Sitemap-Datei verwenden. Wenn Ihre Site unter http und verfügbar ist https, sollten Sie nur eine Sitemap (mit der kanonischen Variante) bereitstellen .
Unor
2

Google-Crawler sind nicht intelligent genug, sie können keine relativen URLs crawlen. Daher wird immer empfohlen, absolute URLs zu verwenden, um die Crawlbarkeit und Indexierbarkeit zu verbessern.

Daher können Sie diese Variante nicht verwenden

> sitemap: /sitemap.xml

Empfohlene Syntax ist

Sitemap: https://www.yourdomain.com/sitemap.xml

Hinweis:

  • Vergessen Sie nicht, den ersten Buchstaben in "Sitemap" groß zu schreiben.
  • Vergessen Sie nicht, nach "Sitemap:" Platz zu setzen.
Deepak Mathur
quelle
-2

Gute technische und logische Frage, mein lieber Freund. Nein, in der robots.txt-Datei können Sie nicht mit der relativen URL der Sitemap arbeiten. Sie müssen mit der vollständigen URL der Sitemap gehen.

Es ist besser, mit "Sitemap: https://www.example.com/sitemap_index.xml " zu gehen "

In der obigen URL gibt der Doppelpunkt Platz. Ich unterstütze auch gerne Deepak.

cstpl123
quelle