Ernst K. Simader - Web-Services - Bot-Checker

Ernst K. Simader

Web-Services - Bot-Checker

Immer mehr Zugriffe auf Webseiten stammen von Webcrawlern. Über die User-Agent-Zeichenfolge im HTTP-Header können diese Spione meist von echten Besuchern unterschieden werden, sofern sie sich nicht durch falsche Angaben tarnen.
Der aktuelle User-Agent: CCBot/2.0 (http://commoncrawl.org/faq/)

Diese Abfrage kann z.B. am Beginn einer Web-Session eingebaut werden, um "Bot-Zugriffe" in der Website-Statistik zu kennzeichnen oder zu elimimieren. Der Service steht entweder als SOAP-Webservice oder als RESTful-Webservice zur Verfügung.



Kein User-Agent eingegeben!