Nach dem es eine Zeit lang leider nicht verfügbar war, existiert das Projekt “SpiderFinder” wieder.
Es ist ganz einfach: das Script wertet den Useragent jedes Besuchers aus und prüft ob es sich um einen Spider handelt oder nicht.

Google, Yahoo und Microsoft haben sich auf die Verwendung des Canonical Tags geeinigt, der anstelle eines 301 Redirects in den Head einer Seite eingebaut werden kann.