Ist die Yahoo-Suche jetzt die gleiche wie die Bing-Suche?

Wir hatten in der Vergangenheit einige schwerwiegende Probleme mit der (unglaublich) schlecht geschriebenen Spinne von Yahoo und haben sie daher blockiert. Marco Arment von Tumblr teilte uns am 31.08.2009 auch seine Frustrationen mit, was ein Faktor dafür war, dass wir sie blockierten.

[Yahoo's Spider] hat uns seit ungefähr 5:30 EST mit 70-200 Anfragen / Sekunde überflutet. Ich habe so etwas noch nie gesehen, auch nicht von ihren "experimentellen" Schurken, die uns in der Vergangenheit missbraucht haben. Das Verbot von Robots.txt reicht nicht aus: Ich muss sie auf Load-Balancer-Ebene nach IP blockieren. Da sie Stack Overflow in der Vergangenheit missbraucht haben, habe ich mir gedacht, dass Sie es wissen möchten.

Es sieht so aus, als wäre die Websuche von Yahoo "Powered by Bing!" jetzt. Das ist gut, denn wir hatten noch nie ein Problem mit Bings Spinne (auch bekannt als MSNBOT).

Ist die Yahoo-Suche nun die gleiche wie die Bing-Suche, oder sollten wir sie möglicherweise entsperren, wenn sie trotz aller Widrigkeiten aufgehört haben, so hart zu saugen?

Ich würde keinen Grund sehen, den Such-Bot von Yahoo zu entsperren. Es gibt zwei Möglichkeiten, wie Yahoo die Bing Engine verwenden könnte. Sie könnten es in ihr eigenes integrieren und einen Hybrid-Crawler ins Netz stellen, oder sie könnten einfach die Abfragen an die Bing Engine senden und die Ergebnisse ausspucken, die sie zurückerhalten.

Aus dem Dokument, auf das Joel verweist, ist ein weiteres Dokument hier . Darin heißt es bei Yahoo: "Mitte Juli haben wir begonnen, die Lieferung organischer Ergebnisse von Bing an Yahoo! zu testen." Für mich bedeutet das, dass Yahoo sich nicht eng in die Bing Engine integriert. Sie rufen einfach die Bing Engine-API auf. Dies wäre auch unter dem Gesichtspunkt der erforderlichen Arbeit am sinnvollsten, da die Yahoo Engine auf lange Sicht nicht mehr verfügbar ist.

Das bedeutet, dass wir keinen Yahoo Bot mehr sehen sollten, der das Web crawlt, sobald 100% der Ergebnisse aus der Bing Engine stammen. Daher gibt es keinen Grund, die Sperre aufzuheben.

Offenbar haben sie gerade damit begonnen, Bing-Suchergebnisse auf Yahoo! für etwa 25% der Suchanfragen mit dem Ziel, im August / September vollständig umzuschalten. Ich würde wetten, dass die Yahoo-Spinne nicht mehr läuft und wenn ja, ist sie nicht sehr relevant.

Ich habe am Montag eine Suchanfrage bei Yahoo gestellt - die Bestätigung enthielt den folgenden Hinweis zum Übergang zu Bing, den Sie möglicherweise als relevant erachten:

Yahoo! Search freut sich, eine neue Stufe im Yahoo! und Microsoft Search Alliance; Die Integration der algorithmischen Ergebnisse von Microsoft für den US-amerikanischen und kanadischen Markt ist nahezu abgeschlossen. Yahoo! Die Suche testet derzeit die neue Integration. Möglicherweise stellen Sie während Ihrer Suche eine andere Erfahrung fest. In diesem Test verwenden einige grundlegende Suchlisten die Ergebnisse von Microsoft Web, Image und Video. Alle Verbesserungen, die Sie von Yahoo! Die Suche bleibt erhalten, und wir werden die Suche weiter verbessern.

Da dies nur eine Testphase ist, führt nicht jede Suche zu unterschiedlichen Ergebnissen, und die Änderungen sind möglicherweise nicht offensichtlich. Die Ergebnisse können für dasselbe Keyword von einer Suche zur nächsten abweichen. Da die Ranking- und Indexierungsalgorithmen unterschiedlich sind, werden die Suchergebnisse möglicherweise in einer anderen Reihenfolge angezeigt. Suchergebnisse, die zuvor nicht angezeigt wurden, werden möglicherweise eingeschlossen, und es werden möglicherweise keine Suchergebnisse angezeigt, die zuvor eingeschlossen wurden. Wir bedanken uns für Ihre Geduld, da wir die neuen Ergebnisse gründlich testen.

Nochmals vielen Dank für Ihre Kontaktaufnahme mit Yahoo! Suche.

Zu Ihrer Information, Yahoo wird am Montag, den 23. August (oder innerhalb weniger Tage danach) offiziell damit beginnen, BING-Suchergebnisse bereitzustellen.