Immer mehr Zugriffe auf Webseiten stammen von
Webcrawlern. Über die
User-Agent-Zeichenfolge im HTTP-Header können diese Spione meist von echten
Besuchern unterschieden werden, sofern sie sich nicht durch falsche Angaben
tarnen.
Der aktuelle User-Agent: CCBot/2.0 (https://commoncrawl.org/faq/)
Diese Abfrage kann z.B. am Beginn einer Web-Session eingebaut werden, um "Bot-Zugriffe" in der Website-Statistik zu kennzeichnen oder zu elimimieren. Der Service steht entweder als SOAP-Webservice oder als RESTful-Webservice zur Verfügung.