Ich möchte den Inhalt aus dem Google-Index entfernen. Der Google-Index enthält auf meinen Websites eine große Anzahl von Seiten, die etwa 5.000.000 Seiten früher im Google-Index indiziert wurden. Jetzt sind es 3.025.000.
Ich habe die folgenden Dinge gemacht, aber das Entfernen von Seiten ist sehr langsam.
robots.txt:
User-agent: *
Disallow: /.htaccess:
rewriteengine on
rewritecond %{HTTP_USER_AGENT} ^.*Googlebot/2.1.*$
rewriterule .* - [F,L]Dies ist der Inhalt, der an Googlebot zurückgegeben wird, wenn versucht wird, den Inhalt zu crawlen:
HTTP/1.1 410 Gone
Date: Sat, 05 Jan 2013 12:39:23 GMT
Server: Apache/2.2.23 (Unix) mod_ssl/2.2.23 OpenSSL/0.9.8e-fips-rhel5
mod_fastcgi/2.4.6 mod_jk/1.2.37 mod_auth_passthrough/2.1 mod_bwlimited/
1.4 FrontPage/5.0.2.2635 PHP/5.3.19
Content-Length: 661
Connection: close
Content-Type: text/html; charset=iso-8859-1Ich hatte auch das HTML-Meta-Tag verwendet noindex, kein Follow, aber kein Effekt als:
<meta name="googlebot" content="noindex,nofollow">Ich hatte auch eine Website zum Entfernen eingereicht, aber die Geschwindigkeit des Entfernens von Inhalten ist sehr langsam. In den letzten 35 Tagen wurden nur wenige Seiten entfernt. Meine Website wird ebenfalls aus dem Google-Suchindex entfernt, aber der Google Webmasters Tools - Health -> Indexstatus zeigt weiterhin 3.025.000 Seiten an. Wenn ich die Website erneut einreiche, werden bereits indizierte Seiten angezeigt. Wie kann ich die Geschwindigkeit zum Entfernen von Seiten erhöhen?
quelle
Antworten:
.htaccess
Ich habe gerade die letzte Minute damit verbracht, mit meiner
User-AgentEinstellung auf Googlebot 2.1 auf Ihrer Website herumzuklicken, und ich habe keine einzige 410 getroffen. Ich bin kein Experte für .htaccess, aber sind Sie sicher, dass Ihre .htaccess-Regel ordnungsgemäß funktioniert? breit?Fsollte eine 403 (Verboten) produzieren, nicht die 410, die Ihr Fetch als Googlebot produziert hat.Warum nur Google mitteilen, dass die Seite verboten, verschwunden oder was auch immer ist? Ihr Meta
noindexwürde vorschlagen, dass Sie andere Suchmaschinen als Google anweisen möchten.Meta Noindex
Sie scheinen bestimmte Roboter anzuweisen
noindexund dies dann aufzuheben, indem Sie allen Robotern sagenindex:Robots.txt
Ihre robots.txt-Datei enthält tatsächlich keine
wie du sagst. Es beinhaltet
Obwohl es nicht so wichtig ist, da es nur das Crawlen verhindern und keinen Inhalt aus dem Index entfernen würde .
Lösung
Sie haben nicht genau angegeben, was Ihr Ziel ist, und es ist auch nicht klar, welche Schritte Sie auf Ihrer Website unternommen haben, aber das oben Genannte sollte als Ausgangspunkt dienen.
quelle
Google löscht Seiten nicht so schnell, zum Teil, weil die Seiten geordnet sind. Wenn sie schnell gelöscht werden, jammern die Leute darüber, dass sie ihre Seitenränge mit einem unbemerkten Fehler verlieren. Es ist also eine Art Gnadenfrist, um Dinge kurzzuschließen.
Das Problem bei .htaccess-Weiterleitungen besteht darin, dass Google davon ausgehen kann, dass es sich um einen Fehler innerhalb von HTACCESS handelt, der in regelmäßigen Abständen erneut überprüft wird. Wenn Sie viele, viele Seiten haben, ist dies ein zeitaufwändiger Vorgang.
Außerdem sollten Sie auf jeder Seite eine ausführen, da die robots.txt bei Crawls nicht immer überprüft wird. Ich persönlich würde .htaccess überhaupt nicht verwenden, da sie immer wieder zurückkehren und davon ausgehen, dass es sich um einen Fehler handelt. NOINDEX ist schneller als Roboter und htaccess, aber probieren Sie das oben verlinkte Entfernungsprogramm aus.
Ein weiterer Faktor ist, wie Google Ihre Website im Hinblick auf das Ranking behandelt und wie schnell sie ist. Wenn Sie also auf einem VPS die Geschwindigkeit erhöhen, sollte dies die Anzahl der Seiten erhöhen, die Google crawlen wird, da der Google-Bot eine X-mal zugewiesene Zeit crawlt und dann unabhängig davon verlässt, und Sie möchten so viel Saft wie möglich möglich.
Beste Methode, Hit oder Miss
Der beste Weg, URLs umgehend zu entfernen, ist über die Webmaster-Tools. Sie haben jedoch 3 Millionen Seiten, die unrealistisch unmöglich werden. Es gibt jedoch ein Tool zum Entfernen von Websites, von dem viele nichts wissen und das lustig genug ist, dass die URL fast dieselbe ist.
PRÜFEN
http://www.google.com/webmasters/tools/removals
http://www.google.com/webmasters/tools/url-removal?hl=de&siteUrl= (Dies ist das Webmaster-Tool - das oben genannte können Sie zum Entfernen von Websites anfordern.)
quelle
Würde das Hinzufügen von:
<meta name="robots" content="noindex,nofollow">zum Kopfbereich der Seiten Ihrer Website dazu beitragen, die Dinge zu beschleunigen?quelle