Kann ich in robots.txt die folgende relative URL für die Sitemap-Datei schreiben? sitemap: /sitemap.ashx Oder muss ich die vollständige (absolute) URL für die Sitemap-Datei verwenden, wie: sitemap: http://subdomain.domain.com/sitemap.ashx Warum ich mich frage: Ich besitze einen neuen Blog-Dienst,...
Meine robots.txtGoogle Webmaster-Tools zeigen die folgenden Werte an: User-agent: * Allow: / Was heißt das? Ich habe nicht genug Wissen darüber, also suche deine Hilfe. Ich möchte allen Robotern erlauben, meine Website zu crawlen. Ist dies die richtige
Gibt es eine clevere Lösung, um statische Dateien im Anwendungsstammverzeichnis von Flask zu speichern? robots.txt und sitemap.xml werden voraussichtlich in / gefunden, daher war meine Idee, Routen für sie zu erstellen: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response =...
Ich möchte, dass Google URLs wie diese ignoriert: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 Alle URLs mit den Parametern dir, order und price sollten ignoriert werden, aber ich habe keine Erfahrung mit Robots.txt. Irgendeine Idee?
Ich verwende Github, um den Text einer meiner Websites zu speichern, aber das Problem ist, dass Google den Text auch in Github indiziert. Der gleiche Text wird also sowohl auf meiner Website als auch auf Github angezeigt. zB diese Suche Der Top-Hit ist meine Seite. Der zweite Treffer ist das...