Les robots des intelligences artificielles génératives sollicitent les sites web à un rythme inédit, souvent invisibles aux protections classiques de sécurité.
Depuis plusieurs mois, les sites web font face à une nouvelle catégorie de visiteurs : les robots des intelligences artificielles génératives. Ils collectent du contenu pour entraîner des modèles, mais aussi, de plus en plus, pour répondre en temps réel aux requêtes des utilisateurs via des moteurs conversationnels. Ce trafic, longtemps marginal, représente aujourd’hui une part croissante des requêtes reçues par les infrastructures web, et échappe souvent aux mécanismes de contrôle existants.
Un consommateur de ressources sans retour de trafic
Contrairement aux moteurs de recherche traditionnels, qui indexent un site pour, en retour, lui adresser du trafic qualifié, les crawlers d’IA générative fonctionnent différemment : ils collectent le contenu pour nourrir l’entraînement d’un modèle ou alimenter une réponse générée ailleurs, sans nécessairement rediriger le moindre visiteur vers le site d’origine. Le site fournit la donnée sans en retirer de bénéfice direct en termes d’audience. Ce n’est plus un partenaire de visibilité, mais un simple consommateur de ressources.
Un volume de requêtes qui pèse sur la disponibilité
Ces robots multiplient les requêtes, parfois sur les mêmes pages, à une fréquence que les infrastructures n’avaient pas anticipée. Chaque requête consomme du calcul, de la bande passante et de la capacité serveur, au même titre qu’une visite humaine. Lorsque ce trafic devient massif, il concurrence les utilisateurs réels pour les mêmes ressources et peut dégrader la disponibilité du site.
Des techniques de plus en plus proches du trafic humain
Face aux tentatives de blocage, les crawlers d’IA les plus récents adoptent des comportements proches d’un utilisateur : rotation d’adresses IP, en-têtes de navigateur usurpés, répartition des requêtes dans le temps pour éviter les seuils d’alerte. Les méthodes classiques de filtrage, fondées sur le fichier robots.txt ou sur des listes d’agents utilisateurs connus, montrent vite leurs limites. Bloquer trop largement risque d’écarter des robots légitimes ; ne rien bloquer revient à laisser un trafic non maîtrisé s’installer durablement sur l’infrastructure. Seule une analyse comportementale, capable de s’adapter en continu, permet d’échapper à ce dilemme.
Un phénomène appelé à s’amplifier avec les moteurs conversationnels
L’entraînement des modèles n’est plus le seul moteur de ce trafic. Les assistants conversationnels et les moteurs de réponse interrogent désormais les sites en temps réel, à chaque question posée par un utilisateur. Contrairement à un crawl d’entraînement ponctuel, ce trafic est continu et appelé à croître avec l’adoption des outils conversationnels.
Pour les entreprises, la réponse ne peut pas se limiter à un blocage généralisé : certains robots d’IA constituent au contraire un canal de visibilité qu’elles souhaitent favoriser, pour apparaître dans les réponses générées par ces mêmes outils. La vraie question devient donc celle de la distinction : identifier en temps réel la nature et l’intention d’une requête, plutôt que de traiter tout robot non identifié comme une menace ou, à l’inverse, comme un trafic à laisser passer sans contrôle.
Tribune d’Olivier Arous, CEO d’OGO Security.