Wir hatten in der Vergangenheit einige schwerwiegende Probleme mit der (unglaublich) schlecht geschriebenen Spinne von Yahoo und haben sie daher blockiert. Marco Arment von Tumblr teilte uns am 31.08.2009 auch seine Frustrationen mit, was ein Faktor dafür war, dass wir sie blockierten.
[Yahoo's Spider] hat uns seit ungefähr 5:30 EST mit 70-200 Anfragen / Sekunde überflutet. Ich habe so etwas noch nie gesehen, auch nicht von ihren "experimentellen" Schurken, die uns in der Vergangenheit missbraucht haben. Das Verbot von Robots.txt reicht nicht aus: Ich muss sie auf Load-Balancer-Ebene nach IP blockieren. Da sie Stack Overflow in der Vergangenheit missbraucht haben, habe ich mir gedacht, dass Sie es wissen möchten.
Es sieht so aus, als wäre die Websuche von Yahoo "Powered by Bing!" jetzt. Das ist gut, denn wir hatten noch nie ein Problem mit Bings Spinne (auch bekannt als MSNBOT).
Ist die Yahoo-Suche nun die gleiche wie die Bing-Suche, oder sollten wir sie möglicherweise entsperren, wenn sie trotz aller Widrigkeiten aufgehört haben, so hart zu saugen?
quelle
Antworten:
Ich würde keinen Grund sehen, den Such-Bot von Yahoo zu entsperren. Es gibt zwei Möglichkeiten, wie Yahoo die Bing Engine verwenden könnte. Sie könnten es in ihr eigenes integrieren und einen Hybrid-Crawler ins Netz stellen, oder sie könnten einfach die Abfragen an die Bing Engine senden und die Ergebnisse ausspucken, die sie zurückerhalten.
Aus dem Dokument, auf das Joel verweist, ist ein weiteres Dokument hier . Darin heißt es bei Yahoo: "Mitte Juli haben wir begonnen, die Lieferung organischer Ergebnisse von Bing an Yahoo! zu testen." Für mich bedeutet das, dass Yahoo sich nicht eng in die Bing Engine integriert. Sie rufen einfach die Bing Engine-API auf. Dies wäre auch unter dem Gesichtspunkt der erforderlichen Arbeit am sinnvollsten, da die Yahoo Engine auf lange Sicht nicht mehr verfügbar ist.
Das bedeutet, dass wir keinen Yahoo Bot mehr sehen sollten, der das Web crawlt, sobald 100% der Ergebnisse aus der Bing Engine stammen. Daher gibt es keinen Grund, die Sperre aufzuheben.
quelle
Offenbar haben sie gerade damit begonnen, Bing-Suchergebnisse auf Yahoo! für etwa 25% der Suchanfragen mit dem Ziel, im August / September vollständig umzuschalten. Ich würde wetten, dass die Yahoo-Spinne nicht mehr läuft und wenn ja, ist sie nicht sehr relevant.
quelle
Ich habe am Montag eine Suchanfrage bei Yahoo gestellt - die Bestätigung enthielt den folgenden Hinweis zum Übergang zu Bing, den Sie möglicherweise als relevant erachten:
quelle
Zu Ihrer Information, Yahoo wird am Montag, den 23. August (oder innerhalb weniger Tage danach) offiziell damit beginnen, BING-Suchergebnisse bereitzustellen.
quelle