Als «web-crawlers» getaggte Fragen

Als Webmaster, der für eine winzige Website mit einem Forum zuständig ist, erhalte ich regelmäßig Beschwerden von Nutzern, dass sowohl die interne Suchmaschine als auch die externen Suchanfragen (wie bei Google) durch die Signaturen meiner Nutzer (die sie lange verwenden) vollständig verschmutzt...

Auf einem Webserver muss ich jetzt noch administrieren, dass mir aufgefallen ist, dass die robots.txt leer ist. Ich fragte mich, ob es einen Unterschied zwischen einer leeren robots.txt und gar keiner Datei gibt. Verhalten sich Crawler in diesen beiden Fällen unterschiedlich? Ist es also sicher,...

In den Protokollen für eine von mir verwaltete Website wird eine Anfrage nach einer nicht vorhandenen Datei von Bingbot angezeigt. Die Details der Anfrage sind Pfad: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (kompatibel; Bingbot / 2.0; + http://www.bing.com/bingbot.htm )" IP-Adresse:...

Wir hatten in der Vergangenheit einige schwerwiegende Probleme mit der (unglaublich) schlecht geschriebenen Spinne von Yahoo und haben sie daher blockiert. Marco Arment von Tumblr teilte uns am 31.08.2009 auch seine Frustrationen mit, was ein Faktor dafür war, dass wir sie blockierten. [Yahoo's...

Diese Frage wurde von Stack Overflow migriert, da sie in Webmasters Stack Exchange beantwortet werden kann. Vor 9 Jahren migriert . Kann der Google Spider JavaScript oder nur HTML

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie für Webmasters Stack Exchange zum Thema gehört . Geschlossen vor 6 Jahren . Ich habe eine ziemlich große Legacy-Site mit buchstäblich...

Viel wurde von der Baidu-Spinnen-Crawling-Frequenz gemacht. Es ist wahr: "Baiduspider kriecht wie verrückt." Ich habe dieses Phänomen an Standorten erlebt, mit denen ich arbeite. In mindestens einem Fall habe ich festgestellt, dass Baiduspider ungefähr mit der gleichen Häufigkeit wie Googlebot...

Es gibt Ask bot, der diesen Header setzt: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) In Anbetracht dessen habe ich folgende Fragen: Welchen User Agent soll ich verwenden, wenn ich einen Webcrawler namens Goofy schreibe? Was ist der Unterschied wenn ich Mozilla/2.0oder lege Mozilla/5.0? Weitere...

Ich habe ein Unterverzeichnis, das ich vor den Suchmaschinen-Webcrawlern verstecken möchte. Eine Möglichkeit, dies zu tun, ist die Verwendung von a robots.txtim Stammverzeichnis des Servers (die Standardmethode). Jeder, der die URL der Website kennt und über grundlegende Webkenntnisse verfügt, kann...

Ich erinnere mich an eine Seite, die wegen Missbrauch geschlossen wurde, und ich frage mich, ob Bots einen Teil davon haben. Wenn der Bot etwas auf meiner Seite veröffentlicht, wie kann ich es bekämpfen? Ich habe überlegt, einige Cookies zu setzen und die Cookies über JavaScript + Zeitstempel und...

Die meisten meiner Besuche stammen von Baidu-Spinnen. Ich denke, es hilft Suchmaschinen überhaupt nicht, also denke ich darüber nach, wie ich sie blockieren kann. Könnte dies über Iptables erfolgen? Ich benutze Nginx als

Immer wenn ich eine Responsive-Website erstelle, erstelle ich normalerweise zwei Menüs: 1 ausgeblendet und für Mobilgeräte verwendet und das andere als Hauptmenü angezeigt und dann ausgeblendet, um das Mobilmenü anzuzeigen. Wann immer es um SEO und Spinnen geht, die auf der Website navigieren,...

Ich habe kürzlich eine neue Domain registriert, auf meinen vorhandenen Server verwiesen und eine minimale Seite eingerichtet, auf der nur "test" und sonst nichts steht. Ich habe gerade heute Abend festgestellt, dass die Seite bereits in Google indiziert ist! Es gibt keine Links zur Site (ich habe...

Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum? Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu...

Wenn ich mein Apache-Protokoll überprüfe, kann ich feststellen, dass baidu meine Website in den letzten 2 Wochen 10 Mal am Tag gecrawlt hat. Es ist nicht so, dass es mich interessiert, aber ich bin wirklich neugierig, warum er das tut. Es ist eine sehr kleine Single-Page-Website mit wenig...

Ich habe gesehen, dass Google einen netten Vorschlag / Standard für das Crawlen von Ajax-Anwendungen über # hat! (Hash Bang). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Meine Fragen sind: Verwenden sie diesen "Vorschlag" derzeit bereits in der realen...

Nachdem ich eine Reihe von Bots geschrieben und die enormen Mengen an zufälligen Bots gesehen habe, die zufällig eine Site crawlen, frage ich mich als Webmaster, welche Bots es wirklich wert sind, auf eine Site gelassen zu werden. Mein erster Gedanke ist, dass das Zulassen von Bots auf der Website...

Ich habe eine Website, die derzeit ungefähr 7.000 - 10.000 Seitenaufrufe pro Tag erzielt. Als ich am 01.07.12 gegen 1 Uhr morgens anfing, bemerkte ich, dass die Klickrate dramatisch anstieg. Diese Klicks werden gutgeschrieben und bald darauf wieder gutgeschrieben. Es handelte sich also...

Meine Website zählt die Besucheraufrufe auf bestimmten Seiten. Ich habe festgestellt, dass Google und andere Bots wie verrückt auf meine Website "klicken" und einige der Seiten unrealistische Aufrufe erhalten (im Vergleich zu denen, die von Menschen erstellt wurden). Ich bitte um bewährte Methoden,...

Das ist meine robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Die Google Webmaster-Tools sagen mir jedoch, dass Roboter den Zugriff auf die Sitemap blockieren: Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler...