Wusste ich auch noch nicht: Jedes Blogger.com Blog hat eine Sitemap spendiert bekommen mit der die Suche gesperrt wird. Außerdem gibt es einen Hinweis auf die Sitemap.

So sieht eine Blogger.com Sitemap aus

User-agent: *
Disallow: /search
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=updated

Laut einem Kommentar beim Google Watch Blog gibt es die Robots.txt schon seit mehreren Wochen.

Dieser Artikel wurde am 27.07. 2007 von nXplorer geschrieben.