L’un des géants de l’infrastructure Internet, Cloudflare, a annoncé AI Labyrinth, une nouvelle arme contre les bots de Web scraping qui extraient sans autorisation les données des sites pour entraîner des intelligences artificielles.
Dans un article de blog, l’entreprise explique que cet outil gratuit et activable sur demande détecte les comportements de scraping abusifs et entraîne les bots dans un labyrinthe de liens menant à des pages factices générées par IA.
L’objectif ? Ralentir, désorienter et épuiser les ressources de ces bots indésirables tout en collectant des données pour affiner les techniques de détection des acteurs malveillants.
Depuis des années, les sites Web s’appuient sur le fichier robots.txt, qui donne des instructions aux crawlers sur les parties du site qu’ils peuvent explorer. Cependant, certaines entreprises d’IA, comme Anthropic ou Perplexity AI, ont été accusées de ne pas respecter ces directives et de continuer à aspirer des données sans consentement.
Cloudflare, qui analyse plus de 50 milliards de requêtes de crawlers par jour, dispose déjà d’outils pour bloquer ces bots. Cependant, l’entreprise explique que les attaquants changent constamment de tactique, rendant cette lutte interminable. AI Labyrinth propose une approche différente : plutôt que de bloquer les bots, il les piège dans un réseau de fausses données.
Comment fonctionne AI Labyrinth de Cloudflare ?
Lorsqu’un bot suspect est détecté, AI Labyrinth lui présente des liens qui semblent naturels mais qui mènent en réalité à des pages générées par IA et totalement déconnectées des contenus réels du site. Ces pages sont invisibles pour les visiteurs humains mais agissent comme un piège à bots, les encourageant à suivre en boucle des liens vers d’autres pages fictives.
Cette technique agit comme un honeypot avancé, permettant à Cloudflare de :
- Identifier plus facilement les bots malveillants et mettre à jour sa liste noire.
- Créer de nouvelles signatures et modèles de détection pour traquer des patterns de scraping encore inconnus.
- Épuiser les ressources des crawlers, rendant l’extraction de données inutile et inefficace.
Cloudflare précise que les contenus générés sont basés sur des faits scientifiques, évitant ainsi de contribuer à la désinformation sur le web.
Une déclaration de guerre aux Web crawlers d’IA
Les administrateurs de sites peuvent activer AI Labyrinth via leur tableau de bord Cloudflare, dans la section Bot Management.
L’entreprise prévoit d’améliorer l’outil en créant des réseaux entiers d’URLs interconnectées, rendant encore plus difficile la détection des pièges par les bots. Ce projet s’inspire de Nepenthes, une solution analogue conçue pour piéger les crawlers dans un enfer de données inutilisables pendant des mois.
En résumé, Cloudflare contre-attaque et veut rendre la vie impossible aux bots qui puisent dans les contenus des sites sans permission. L’avenir du scraping abusif s’annonce bien plus compliqué avec AI Labyrinth en embuscade.
