Jimmy Wales Pläne einen Google Killer zu erschaffen konkretisieren sich. Der Wikipedia Gründer hat für seine Suchmaschinen-Firma Wikia den Crawler Grub an Land geholt.

Grub wurde im Jahr 2000 als Open Source Crawler gestartet mit dem viele Nutzer ihre Rechenleistung und Bandbreite zur Indizierung des Webs zur Verfügung stellen konnten. Das Projekt wurde im Jahr 2003 von LookSmart übernommen, tröpfelte einige Zeit vor sich hin und wurde Ende 2005 für tot erklärt. Da LookSmart nicht an der OpenSource Philosophie festgehalten hatte wurde Grub auch von anderer Seite nicht mehr weiterentwickelt.
LookSmart steckt oder steckte hinter Angeboten wie Wisenut, Furl und Zeal.

Mit der Übernahme durch Wikia ist Grub wieder frei zugänglich und soll nach einigen Weiterentwicklungen das Rückrad des Wikia Indexes stellen (via Golem).

Ob viele Leute möchten, dass ihr PC in nicht beanspruchten Momenten für Wikia das Internet abgrast kann ich mir nicht vorstellen. Allein schon die Sensibilisierung für den Umweltschutz und Stromverbrauch dürfte diesem Gedanken einen Riegel vorschieben. Der einzige Anreiz wäre eine Vergütung und dann wäre die vielen kleinen dezentralen Crawler, von denen jeder nur wenige URLs crawlt und diese dann komprimiert an einen Masterserver sendet, nicht mehr günstiger als Bots die von eigenen Servern aus losgeschickt werden.

Dieser Artikel wurde am 30.07. 2007 von nXplorer geschrieben.