Comment repérer les robots, les comportements anormaux et les exclure ?
Notre détection des robots fonctionne de la manière suivante : un organisme recensant tous les robots connus nous transfère une liste (IAB/ABC spiders and bots list) à partir de laquelle nous excluons directement le trafic généré par ces robots, trafic qui ne sera pas comptabilisé dans l'interface.
Ces exclusions de votre trafic se font par le biais des adresses IP ou bien de sections des user agents liés aux robots présents dans la liste citée ici.
L'IAB ne peut cependant pas recenser tous les robots existants. Certains passent donc le filtre de traitement que nous appliquons, pouvant expliquer certaines données étranges remontées dans vos interfaces.
Quand ils ne sont pas déjà identifiés et exclus par Piano, les robots peuvent souvent être reconnus par leur comportement inhabituel. Grâce à différents indicateurs, comme les suivants, vous pourrez contrôler ces comportements parmi vos visiteurs :
Temps passé par page : s'il est très court, cela peut indiquer la présence d'un crawler
Pages vues par visite : s'il est très élevé, idem
URLs (Sites affluents) : un pic de visites de la part d'un domaine inconnu est suspect
Pays (Géolocalisation) : un pic de visites venant d'un pays duquel ne proviennent pas ou peu de visites en temps normal est suspect
Ville (Géolocalisation) : idem
Modèles (OS) : un pic de visites provenant toutes d'un même modèle d'appareil est suspect
Si vous suspectez un trafic anormal, nous vous recommandons de contacter le centre support en précisant le contexte de vos soupçons, qui vous indiquera la meilleure option pour l’exclure.
Vous pouvez également demander au centre support d'exclure le trafic sur la base d'adresses IP connues (issues de partenaires ou internes). Cependant, nous ne serons pas en mesure de fournir de telles informations.
Veuillez noter que si vous disposez d'un système d'anonymisation des adresses IP (par exemple avec l'exemption de la CNIL), vous ne pourrez pas exclure une adresse IP précise, mais seulement la plage associée. Il vous appartient d'ajouter cette plage en tant qu'exclusion ou surveillance.
Il est également possible d'exclure du trafic par le biais des exclusions disponibles dans Data Management. Vous pouvez alors baser votre exclusion sur un ou plusieurs critères tels que la ville, l'organisation, le fournisseur d'accès, le user agent, etc.