Suchmaschinen-Bots
Juli 3rd, 2007 06:22 Uhr von 
Ronald
Ich habe hier mal eine Übersicht über die gängisten Crawler der Suchmaschinen. Anhand der Liste kann man diese dann aussperren oder gezielt umleiten (was natürlich oft sehr böse wäre 
).
| Name | HTTP_USER_AGENT |
|---|---|
| Alexa-1 | ia_archiver |
| Alexa-2 | ia_archiver-web.archive.org |
| AskJeeves-Teoma | Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://sp.ask.com/docs/about/tech_crawling.html) |
| Googlebot 2.1 | Googlebot/2.1 (+http://www.google.com/bot.html) |
| Googlebot-Mozilla-2.1 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Google-AdSense-2.1 | Mediapartners-Google/2.1 |
| MSN-1.0 | msnbot/1.0 (+http://search.msn.com/msnbot.htm) |
| Yahoo-Slurp | Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) |
| ZyBorg-1.0 | Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com) |
Geschrieben in Allgemeines, SEO | 
Keine Kommentare »