In der Search Illustrated Rubrik auf Search Engine Land gibt es einen Gastbeitrag von Elliance einer eMarketing Firma welcher die Unterschiede der zwei Google Bots erläutert.

Demnach gibt es einen Fresh Bot der sich die Seiten mit häufig ändernden Inhalten alle paar Tage (bei gewissen Seiten auch wesentlich häufiger) anschaut und einen Deep Crawl Bot welcher einmal im Monat alle Seiten begutachtet.

Ob es sich wirlich um zwei verschiedene Crawler handelt welche sich ahand des User-Agets oder der IP unterscheiden lassen wird nicht erwähnt.
Ich werde jetzt nicht die Logfiles mehrere Monate analysieren, vermute aber einfach mal, dass der Bot einfach zwei Modi hat: Fresh und Deep.

Die Firma Elliance ist mir sowieso suspekt. Welcher Seo-Dienstleister zeigt schon die Keywords und Ranking seiner Kunden auf der Startseite und brüstet sich dann auch noch mit Platz 1 für Online Banking in Pittsburgh?

Und Quellenangaben wie Analyse der eigenen Logfiles oder Statements von Google gibt es auch nicht. Natürlich werden manche Unterseiten häufiger gespidert als andere und frischer Content ist einer der Hauptgründe aber einen beleg für zwie grundverschiedene Bots sehe ich nicht.

Dieser Artikel wurde am 25.07. 2007 von nXplorer geschrieben.