Gibt es irgendwelche Schäden, wenn meine Site NOINDEX-Header für alle meine statischen Assets sendet?
Für Bilddateien beziehe ich mich auf solche wertlosen, z. B. Hintergrundbilder, Schaltflächenbilder usw.
Update: Weitere Hintergrundinformationen
Ich habe diese Sorge, seit Google kürzlich sagte, dass sie auch JS ausführen und möglicherweise Inhalte über Ajax abrufen. Wenn ich zum Beispiel keinen Index für mein jQuery-Skript sende, damit Google sie nicht zum Laden von Ajax verwenden kann, ist dies vermutlich nicht gut für die SEO meiner Website, oder?
seo
google
robots.txt
noindex
Yoga
quelle
quelle
Antworten:
(Ich arbeite mit den Crawler- und Indizierungsteams von Google zusammen.) Beginnen wir mit dem einfachen: Wenn Sie nicht möchten, dass diese Dateien überhaupt für die Indizierung verwendet werden, können Sie einfach die Datei robots.txt verwenden, um das Crawlen der Skripte und Antworten zu verbieten. Dies verhindert, dass Googlebot auf die URLs zugreift, und verhindert natürlich auch, dass Googlebot sie für andere Zwecke verwendet. Die URLs selbst können indiziert werden (genau wie die URL, die auf Faktoren wie Links zu den URLs basiert, ohne gecrawlt worden zu sein), können jedoch nicht verarbeitet oder ausgeführt werden. Unsere robots.txt-Referenz enthält weitere Details für diejenigen, die Details lieben.
Wenn Sie andererseits den Inhalt (und möglicherweise die Antworten usw.) indizieren möchten: Wir empfehlen, den HTTP-Header noindex x-robots-tag nicht für eingebettete Inhalte (JavaScript, CSS, Antworten usw.) zu verwenden, wenn Sie Ich mag es möglicherweise für die Indizierung verwendet. Wenn eine JavaScript-Datei beispielsweise eine AJAX-Anforderung verwendet, um Inhalte von Ihrem Server abzurufen, die dann angezeigt werden, müssen alle diese Elemente zuerst crawlbar sein (von der robots.txt-Datei nicht unzulässig), und wir empfehlen, dass sie nicht vorhanden sind. Es wird mit einem HTTP-Header "noindex" x-robots-tag bedient. Wir können nicht garantieren, dass wir alle JavaScript-Dateien verarbeiten und indizieren können, aber unsere Systeme werden mit der Zeit immer besser .
Im Allgemeinen verlinken die meisten Websites nicht mit normalen HTML-Links auf ihre JavaScript- oder CSS-Dateien, sondern verweisen nur auf sie in ihren HTML-Dateien. Aus diesem Grund werden wir diese Dateien zum größten Teil sowieso nicht separat indizieren (und selbst wenn wir dies tun, hat Ihre Website höchstwahrscheinlich relevanteren Inhalt als das, was wir in den JavaScript-Dateien finden :)).
quelle
Das wichtigste zuerst. Google indiziert bestimmte Dateitypen wie CSS, JavaScript, Bilder usw. nicht. Aber Sie sagen, Google indiziert Bilder. Na ja und nein. Es indiziert Bilder unter Verwendung des das Bild umgebenden Textes und der dem Bild zugeordneten Verknüpfungswerte. Ja, während wachsende Probleme bei der Aktualisierung ihrer Funktionen hat Google einige dieser Dateien indiziert, aber Google sieht sie nicht als Inhalt oder direkt wertvoll an. Dies wurde mit vielen Versionen desselben JavaScript in seinem Index entdeckt und das Geschwätz begann ernsthaft. Auch ich habe meine CSS-Datei vor Jahren indiziert gefunden, aber sie ist längst vorbei. Das ist so 2009! Es sind alte Nachrichten, die nicht mehr gelten. Das ist es. Hier gibt es keinen Grund zur Sorge.
Zweitens kann Google nicht auf alle Ajax-Elemente zugreifen - zumindest nicht auf Ajax-fähige Textfelder, wie sie Google für die Suche verwendet. Tatsächlich beschreiben sie hier, wie Ajax-Elemente crawlbar gemacht werden können: https://developers.google.com/webmasters/ajax-crawling/ . Google kann und wird keine Werte in ein Ajax-fähiges Textfeld eingeben, das nach Inhalten sucht. Sie sagen es tatsächlich. Der Umfang von Google Ajax ist klar definiert und begann mit Facebook und Disqus für Kommentare. http://www.seroundtable.com/google-ajax-indexing-14241.html
Ein Teil der Verwirrung sind frühe Berichte, dass Google JavaScript ausführt und auf Ajax zugreifen kann. In diesem Fall generiert JavaScript URLs. Dies hatte drei Gründe; eine, um tiefer zu suchen und keine gültigen Links zu verpassen, zwei, um JavaScript für das Laden von Schlüsselwörtern zu bewerten, und drei, um zu überprüfen, ob JavaScript aufgebläht ist. Später wurden weitere Gründe hinzugefügt, z. B. die Seitenvorschau und die Bewertung der Antwortzeiten. Damit kann Google das volle Potenzial einer Seite indizieren. Den vollständigen Umfang finden Sie hier: https://www.distilled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/
Um es klar auszudrücken: Google missbraucht Websites bisher nicht und Sie müssen sich keine Sorgen machen. Es werden keine Elemente indiziert, die nicht indiziert werden sollen. Wenn Sie jedoch möchten, dass Google und andere Benutzer von BTW-Bing auch auf diese Elemente zugreifen, empfiehlt Google, wie gewohnt bestimmte Zeilen für jedes Element / jede Ressource in Ihrer robots.txt-Datei einzufügen. Sie können die Empfehlung etwa auf halber Höhe dieser Seite lesen: http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html .
Ich würde Sie jedoch davor warnen. Wenn Sie kein Problem haben, würde ich nichts unternehmen. Der Grund beantwortet den SEO-Teil Ihrer Frage. Das Blockieren einiger Elemente kann sich negativ auf Google und andere auswirken, da Ihre Website nicht ordnungsgemäß indiziert wird und vollständig relevante Ergebnisse zurückgegeben werden. Wenn Sie jedoch beispielsweise ein JavaScript-Nachrichtenelement haben (echte Nachrichten und keine Site-Nachrichten), kann dies Ihre Suchergebnisse verzerren. In diesem Fall möchten Sie möglicherweise den Zugriff auf JavaScript mithilfe von robots.txt einschränken. Hier müssen Sie Ihre Denkmütze aufsetzen. Lassen Sie sich Zeit. Es gibt keine Krise zu bewältigen. Wenn Sie Ihre Website bewertet haben, treffen Sie fundierte Entscheidungen und ergreifen Sie Maßnahmen. Meistens,
quelle
TLDR; Nein
Nein, Sie scheinen verwirrt zu sein, was NOINDEX tatsächlich tut.
NOINDEX : Ermöglicht das Crawlen über die darin enthaltenen Links. Verbietet die Indizierung (die automatisch NOARCHIVE und NOSNIPPET enthalten würde)
NOFOLLOW : Ermöglicht die Indizierung (normalerweise nicht, aber möglicherweise). Verbietet das Crawlen, das Folgen von Links und das Anzeigen von Snippets.
Google empfiehlt , Bots zu erlauben, der Seite zu "folgen". Wenn Sie ein NOINDEX-Header-Tag festlegen, kann Google die Seite verfolgen / crawlen, aber nicht indizieren.
Daher sollten Sie das Tag "NOFOLLOW" NICHT setzen. Dies würde Bots blockieren, um dem Skript zu folgen und es zu analysieren. Das Setzen des NOINDEX-Tags ist in Ordnung.
PS: Dies entspricht dem Festlegen des NOINDEX-Header-Tags für Dateien wie "robots.txt" und "sitemap.xml ". Weil Google sie ziemlich häufig indiziert.
Für mehr:
Verwenden des Roboter-Meta-Tags des Google Webmaster-Blogs
Wie Google mit NOINDEX von Matt Cutts umgeht
quelle
Du hast recht, das ist nicht gut. Google weiß sehr gut, wie Sie Ihre CSS- und JavaScript-Dateien verwenden, um Ihre Website in den Suchergebnissen besser darzustellen.
Lesen Sie diese Lektion mit Matt Cutts über CSS, JavaScript, Crawlen und Indizieren: https://www.youtube.com/watch?v=m293K8JR2j4
quelle
Mach dir heutzutage keine Sorgen. Obwohl wir den x-robot http-Header noindex für statische Dateien css, js nicht festlegen, weiß Googlebot, welche Datei indiziert werden soll oder nicht. Außer Bild, da die Bilder organischen Verkehr für unsere Website erfassen können.
Übrigens, so viele Leute verstehen immer noch nicht, was die robots.txt-Datei und das noindex-Tag sind. Robotertextdatei Was soll zum Indizieren gecrawlt und was nicht gecrawlt werden? zurück zu unseren Einstellungen. Während noindex Tag ist, was indiziert werden soll und was nicht.
Robots.txt file = Bitte komm in mein Haus, du kannst das sehen, das aber nicht das, du darfst diesen Raum nicht sehen.
Noindex-Tag (einschließlich X-Robot-HTTP-Header): Sie können den gesamten Inhalt dieses Hauses sehen, aber bitte öffnen Sie es nicht für andere (halten Sie es geheim), dies ...
quelle