Depuis quelques mois, les logs de nombreux sites web racontent tous la même histoire. Des bots venus d’OpenAI, d’Anthropic, de Perplexity ou de Google visitent les pages à un rythme qui n’a plus rien à voir avec celui des moteurs de recherche traditionnels.
Se pose alors une question simple, faut-il laisser ces robots faire leur travail, ou fermer la porte ?
La réponse n’est ni un blocage total ni une ouverture totale. Chaque robot IA mérite d’être évalué individuellement, en fonction de ce qu’il apporte et de ce qu’il coûte.
Quelle est la différence entre tous ces robots IA ?
Les crawlers liés à l’intelligence artificielle ne poursuivent pas tous le même objectif, et cette distinction change tout dans l’analyse.
Les robots d’entraînement (GPTBot d’OpenAI en fait partie) : Son rôle consiste à parcourir le web pour nourrir les modèles de langage. Le contenu collecté sert à construire la connaissance générale du modèle, sans lien direct avec un retour de trafic vers le site d’origine. C’est le type de bot qui pose le plus de questions du côté des propriétaires de sites, car l’information aspirée peut ensuite être réutilisée pour répondre à des internautes sans jamais qu’ils passent par le site source.
Les robots d’indexation pour les réponses IA (comme OAI-SearchBot) : Sa mission ressemble davantage à celle d’un moteur de recherche classique. Il collecte des pages dans le but de les citer dans les réponses générées par l’IA. Ce type de bot est généralement plus facile à justifier, puisqu’il ouvre une vraie possibilité d’être mentionné et de générer de la visibilité.
Les robots déclenchés par l’utilisateur (comme ChatGPT-User) :Ce bot se déclenche quand un internaute pose une question précise sur un site ou un document en particulier. C’est probablement le signal le plus intéressant à surveiller, car il traduit un intérêt concret. La personne a déjà repéré la marque et cherche à en savoir plus.
Lire Aussi : Claude génère de plus en plus de trafic vers les sites web
Comment savoir quels robots visitent votre site ?
Deux méthodes permettent d’y voir plus clair:
1. Éplucher les fichiers logs du serveur : C’est la source la plus fiable, car elle recense chaque requête reçue. Un export sur les trente derniers jours suffit généralement pour se faire une idée de la part que représentent les bots IA dans le trafic total. Le travail d’identification des user-agents peut prendre du temps, mais des outils d’analyse de logs ou des solutions de suivi de visibilité IA permettent aujourd’hui d’automatiser une bonne partie de ce tri.
2. Le trafic de référence dans les outils d’analytics : Google Analytics propose désormais une catégorie dédiée, « AI Assistant », qui isole les visites provenant de ChatGPT, Gemini ou Claude via leur en-tête de référent (Perplexity n’y apparaît pas encore). Cette approche a une limite claire, elle ne révèle que les plateformes qui ont réellement envoyé du trafic sur la période observée. Un bot qui a exploré le site sans jamais rediriger d’utilisateur restera invisible avec cette seule méthode.
Dans les deux cas, il est utile de repérer si un bot concentre ses visites sur certaines sections précises du site. Un crawler qui revient sans cesse sur les fiches produits, par exemple, indique probablement que ce contenu a une valeur particulière à ses yeux.
Beaucoup de passage, peu de retour pour le site
Ce qui inquiète le plus les responsables techniques, ce n’est pas tant la présence des bots IA que leur appétit. Une donnée communiquée par Cloudflare en juin 2025 donne une idée de l’ampleur du phénomène. Pour chaque visite générée sur un site, Claude d’Anthropic aurait effectué environ 70 900 requêtes de pages. À titre de comparaison, ce ratio tourne autour de 9,4 requêtes pour une visite du côté de Google.
Cet écart change complètement la manière d’appréhender le sujet. Un moteur de recherche classique explore un site pour ensuite lui renvoyer des visiteurs de façon régulière. Un bot IA peut, lui, consommer une quantité importante de ressources serveur sans jamais générer la moindre visite en retour. C’est ce déséquilibre qui pousse certaines entreprises à limiter voire couper l’accès à certains crawlers.
Pourquoi bloquer tous les robots IA n’est pas une bonne idée
La tentation existe de tout couper pour reprendre le contrôle. Le problème, c’est que cette décision comporte aussi ses propres risques.
Le premier concerne la visibilité. Si un site n’est plus accessible aux robots IA, il ne peut plus être cité dans leurs réponses. Le trafic généré par ces plateformes reste faible aujourd’hui, mais leur rôle dans la découverte de marques progresse. Un site absent des réponses IA laisse le champ libre à ses concurrents, qui eux acceptent d’être crawlés.
Le second risque touche à l’avenir. Le secteur évolue vite, et un robot qui semble peu utile aujourd’hui peut devenir une source de visibilité majeure dans deux ou trois ans. Bloquer maintenant, c’est aussi renoncer à la possibilité d’apprendre comment chaque plateforme se comporte, quelles pages elle cite, et si elle le fait correctement.
Lire Aussi : Humaniser un texte IA : pourquoi ça ne suffit plus à tromper Google ni vos lecteurs en 2026
Pourquoi tout autoriser pose aussi problème
À l’inverse, laisser tous les robots IA accéder librement au site expose à d’autres types de désagréments.
Le premier touche à la propriété intellectuelle. De nombreux éditeurs s’inquiètent de voir leur contenu original servir à entraîner des modèles sans aucune compensation ni attribution. Ce sujet revient souvent chez les créateurs de contenu et les artistes qui constatent parfois que leurs visuels sont utilisés pour générer des images « dans le style de » leur propre travail.
Le second problème est plus concret, il s’agit du coût. Un crawl massif consomme de la bande passante et sollicite le serveur bien plus qu’un moteur de recherche traditionnel. Cette charge reste souvent invisible car elle se fond dans la facture d’hébergement globale. Mais à grande échelle, elle peut ralentir le site pour les vrais visiteurs, voire représenter un coût financier suffisamment élevé pour justifier à lui seul une restriction.
Le robots.txt ne suffit plus toujours
Pendant longtemps, le fichier robots.txt a servi de premier rempart pour indiquer aux robots ce qu’ils pouvaient explorer ou non. Ce n’est plus totalement le cas. OpenAI a modifié sa documentation concernant ChatGPT-User, qui ne s’engage désormais plus à respecter systématiquement les consignes du robots.txt. Perplexity adopte un comportement similaire avec Perplexity-User.
Pour ces bots qui ne jouent plus le jeu, il faut passer par d’autres méthodes de blocage.
Le pare-feu applicatif, ou WAF, se place devant le serveur et filtre les requêtes entrantes. Il peut être configuré pour n’autoriser qu’une liste précise de bots, ou au contraire pour bloquer certains user-agents identifiés. Cloudflare et AWS proposent ce type de service, et la plupart des grandes structures disposent déjà d’une équipe technique capable d’ajuster ces listes.
Il existe aussi des règles directement configurées au niveau du serveur qui analysent les caractéristiques d’une requête pour détecter un comportement automatisé ou des en-têtes suspects. Si la requête est jugée non fiable, l’accès est refusé avant même d’atteindre le contenu du site.
Comment mesurer la valeur réelle d’un robot IA ?
Le trafic généré : Il faut regarder le comportement des visiteurs qui arrivent via une IA générative. Ces internautes sont-ils engagés ? Consultent-ils plusieurs pages ? Reviennent-ils plus tard par un autre canal ? Comparer ce comportement à celui des visiteurs issus d’autres sources donne une idée assez juste de leur qualité.
Les citations et mentions : Le trafic n’est pas la seule mesure de valeur. Un site cité régulièrement dans les réponses générées, même sans clic derrière, gagne en notoriété. C’est un principe que le SEO connaît bien depuis longtemps avec les fiches Google Business Profile, où une visite en boutique peut naître d’une simple recherche locale sans clic vers le site.
La qualité de la représentation : Il faut vérifier régulièrement comment une marque est décrite dans les réponses IA. Une plateforme qui déforme systématiquement les informations d’un site peut nuire à son image, indépendamment de tout coût technique.
La couverture des sujets stratégiques : Il vaut la peine de vérifier sur quelles thématiques la marque apparaît dans les réponses IA, et de comparer cette présence à celle des concurrents. Si un concurrent occupe le terrain sur des requêtes commerciales importantes, cela peut justifier de garder l’accès ouvert à certains robots.
Lire Aussi : Un tiers des nouveaux sites web sont générés par IA
Comment construire une grille de décision ?
Une fois toutes ces informations rassemblées, il devient possible de classer chaque robot dans l’une des trois catégories suivantes :
À conserver : Ce sont les bots qui apportent une valeur mesurable, que ce soit en trafic, en citations ou en notoriété, et dont le coût reste raisonnable par rapport à ce qu’ils rapportent.
À surveiller ou restreindre : Ces robots n’ont pas encore démontré de valeur claire, mais ne représentent pas non plus une charge excessive. Il peut être utile de limiter leur fréquence de crawl ou de restreindre leur accès à certaines parties du site, le temps de récolter plus de données.
À bloquer : Ce sont les bots dont le coût dépasse largement les bénéfices, ou qui accèdent à des contenus sensibles sans apporter la moindre visibilité en retour.
Pour trancher, quelques questions suffisent généralement :
- Ce robot génère-t-il du trafic, des leads ou de la notoriété ?
- Accède-t-il à des informations que l’entreprise préfère garder confidentielles ?
- S’agit-il d’un acteur connu dont la documentation publique explique clairement son fonctionnement ?
- Représente-t-il un coût significatif en ressources serveur ?
- Et enfin, quel serait l’impact concret de son blocage sur la visibilité de la marque ?
Un bot bloqué aujourd’hui peut devenir stratégique dans six mois, et inversement. Il est donc conseillé de revoir la liste des bots autorisés ou bloqués au moins une fois par trimestre. Ce rythme laisse le temps d’observer des tendances sans pour autant demander un travail constant à la personne chargée d’analyser les logs.