Suchmaschinen-Bots

Ich habe hier mal eine Übersicht über die gängisten Crawler der Suchmaschinen. Anhand der Liste kann man diese dann aussperren oder gezielt umleiten (was natürlich oft sehr böse wäre ;)).

Name HTTP_USER_AGENT
Alexa-1 ia_archiver
Alexa-2 ia_archiver-web.archive.org
AskJeeves-Teoma Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://sp.ask.com/docs/about/tech_crawling.html)
Googlebot 2.1 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot-Mozilla-2.1 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google-AdSense-2.1 Mediapartners-Google/2.1
MSN-1.0 msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Yahoo-Slurp Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
ZyBorg-1.0 Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com)
War dieser Artikel hilfreich für Sie?
[Gesamt: 0 Durchschnitt: 0]

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *