Eine Subdomain vor dem SEO-Ergebnis von Google / Search Engine ausblenden?

11

Ich habe eine Unterdomäne, die ich in keinem Suchmaschinenergebnis auflisten möchte. Angenommen, ich habe:

  • http://www.example.com
  • http://child.example.com

Wie kann ich alle URLs der child.example.comDomain ausblenden, die derzeit in den Suchmaschinenergebnissen angezeigt werden?

search-engines url robots.txt search noindex 夏 期 劇場
quelle

Antworten:

14

Fügen Sie im Stammverzeichnis des Verzeichnisses der Subdomain-Website eine Datei mit dem Namen robots.txt hinzu, die Folgendes enthält:

User-agent: *
Disallow: /

Dadurch werden Webcrawler angewiesen, die Site überhaupt nicht zu indizieren. Sie müssen nicht gehorchen, aber die wichtigsten werden es tun.

Paul
quelle
Hallo, ich glaube das ist das Beste. Und noch etwas: Wenn ich das mache, wie lange wird es dauern, bis die Web-Ergebnisse angezeigt werden? (zB Google-Suche) Brauche ich Zeit oder dauert es plötzlich?
期 劇場
2
Dies wird bestätigt, wenn die Indexer das nächste Mal die Site crawlen. Dies kann zwischen Minuten und Wochen liegen, je nachdem, wie wichtig Ihre Website ist. Sie können die Dinge schneller verschieben, indem Sie die Website zu Webmastern bei Google und Bing hinzufügen und robots.txt erneut lesen. Dort können Sie auch Seiten aus dem Index entfernen.
Paul
1
Wenn Sie den Vorgang beschleunigen möchten, können Sie eine Entfernungsanforderung unter google.com/webmasters/tools/removals für Google und die URL unter bing.com/toolbox/submit-site-url für Bing senden (ja, dies wird empfohlen Methode zum Entfernen von Seiten).
Kat
Sie sollten auch noindexden Index und andere Seiten der
Subdomain
Wie mache ich das, wenn es gemeinsame Stammordner gibt und die Namen der Unterdomänen dynamisch sind? stackoverflow.com/questions/21229235/…
Gopi
6

Die Verwendung einer robots.txt-Datei in Ihrer Subdomain hilft (und Google wird dies befolgen). Sie können jedoch auch mit einem Google Webmasters-Konto angeben, dass diese Subdomain nicht indiziert werden soll. Sie können auch ein Meta-Tag auf allen Seiten der Subdomain verwenden:

    <meta name="robots" content="noindex">

Wenn es sich um eine Site handelt, die Sie nur für interne Tests verwenden, wird die Site durch das Beschränken der Sichtbarkeit auf einen bestimmten Satz von IP-Adressen in Ihrer Datei für virtuelle Hosts weiter ausgeblendet.

Kenzo
quelle
Auf allen Seiten ????? oh nein ..
夏 期 劇場
@ 4lvin Es wird dynamisch von der Serverseite aus gemacht. Sie müssen es nur einmal codieren. Bitte sagen Sie mir nicht, dass Sie einzelne HTML-Seiten codieren.
Kenzo
LoL, eigentlich "ja". Weil dies ein sehr altes / altes Webdienstsystem ist. (Deshalb muss es heruntergefahren werden) Viele isolierte Seiten im Inneren. : D
夏 期 劇場
@ 4lvin Autsch ... viel Glück damit!
Kenzo
1
Anstatt ein Noindex- metaTag in jede Seite einzubetten , können Sie stattdessen einen X-Robots-TagHTTP-Antwortheader von Ihrem Server für die angegebene Subdomain zurückgeben - dies müssen Sie nur einmal tun.
MrWhite
2

Die Lösungen von Kenzo und Paul sind gut. Sie können Meta-Tags noindex auf Ihre Webseiten setzen und robots.txt hinzufügen, um Roboter nicht zuzulassen.

Meiner Meinung nach ist die beste Lösung die Verwendung der Kennwortauthentifizierung für Ihre Subdomain. Dies ist die einzige Lösung, von der Sie sicher sind, dass Roboter auf Ihre Website zugreifen und diese indizieren können. Wenn Sie Apache verwenden, können Sie htpasswd implementieren .

Zistoloen
quelle
2

... derzeit in den SEO-Ergebnissen angezeigt?

Bei den anderen Antworten geht es eher darum , die Indizierung einer (Unter-) Domain proaktiv zu verhindern (was in erster Linie das ist, was Sie in der Frage stellen), als Ihre Seiten aktiv aus den Suchergebnissen zu entfernen. Dies ist möglicherweise mehr das, wonach Sie suchen deine andere Frage .

Sie müssen Ihre Site weiterhin in robots.txt blockieren und ein Noindex- meta Tag (oder einen X-Robots-TagHTTP-Antwortheader) bereitstellen , wie in den anderen Antworten angegeben. Sie müssen jedoch auch den Zugriff auf Ihre Seiten blockieren und einen 404- oder 410-Statuscode zurückgeben.

Weitere Informationen hierzu finden Sie auf der Hilfeseite der Google Webmaster-Tools:
Voraussetzungen zum Entfernen von Inhalten

Sobald Sie alle diese Funktionen eingerichtet haben, können Sie das Tool zum Entfernen von URLs in den Google Webmaster-Tools verwenden. Dies gilt jedoch nur für einzelne URLs, nicht für eine gesamte Site, sondern ist ein Anfang. (Google gibt an, dass die Verwendung von robots.txt, noindex und das Bereitstellen eines 404 die Voraussetzungen für die Verwendung des GWT-Entfernungswerkzeugs sind.)

Wenn Sie jedoch weiterhin möchten, dass reguläre Benutzer durch Eingabe der URL auf die Website zugreifen können, ist dies ein Problem, da Ihre Inhalte nicht mehr verfügbar sind. Sie könnten es mit einem Passwort versehen, wie Zistoloen vorschlägt. Dies gibt jedoch standardmäßig einen 403 (Verboten) zurück, den Sie überschreiben müssten, um einen 404/410 zurückzugeben. Sie könnten Mantel Ihre Inhalte, eine 410 mit dem Googlebot Rückkehr und damit alle anderen geben - aber was ist mit Menschen auf die Ergebnisse in den SERPs zu klicken?

Wenn Sie jedoch möchten, dass Google Ihre Inhalte so schnell wie möglich entfernt, müssen Sie sie aus dem "Google" -Internet entfernen.

Herr weiß
quelle