Robots d’IA : lesquels bloquer pour limiter l’entraînement sans disparaître des réponses

Pour limiter l’usage de vos contenus par l’IA sans disparaître de ses réponses, bloquez les robots d’entraînement (GPTBot, ClaudeBot, CCBot, et les jetons Google-Extended et Applebot-Extended) et laissez passer les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Attention à une idée reçue : Google-Extended ne retire pas un site des AI Overviews. Depuis le 31 août 2026, c’est un réglage dédié de la Search Console qui le permet.

Ce guide liste les principaux robots IA et leur rôle d’après les documentations officielles consultées le 17 octobre 2026, propose un arbre de décision et des exemples de robots.txt, puis explique comment vérifier leur passage dans vos logs et les limites du blocage.

01Robots IA : trois rôles à distinguer

« Bloquer l’IA » ne veut rien dire tant qu’on ne distingue pas ce que fait chaque robot. Les éditeurs séparent désormais trois usages, avec des user-agents différents.

Les robots d’entraînement des modèles

Ils collectent des pages pour constituer les jeux de données qui entraînent les futurs modèles. Les bloquer n’a pas d’effet immédiat sur votre visibilité dans les réponses : cela signale que vos contenus futurs ne doivent pas servir à l’entraînement.

• Exemples : GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl).
• Cas particuliers : Google-Extended et Applebot-Extended ne sont pas des robots mais des jetons de contrôle lus dans le robots.txt.

Les robots de recherche en temps réel

Ils indexent le web pour alimenter les fonctions de recherche des assistants, celles qui citent des sources avec un lien. Les bloquer, c’est renoncer à être cité par l’assistant concerné.

• Exemples : OAI-SearchBot (recherche de ChatGPT), Claude-SearchBot (Anthropic), PerplexityBot.

Les agents qui naviguent pour un utilisateur

Ils consultent une page à la demande d’un utilisateur, par exemple quand il colle une URL ou qu’un assistant va vérifier une information. Ils ne parcourent pas le web automatiquement.

• Exemples : ChatGPT-User, Claude-User, Perplexity-User.
• Point clé : OpenAI indique que les règles du robots.txt peuvent ne pas s’appliquer à ChatGPT-User, et Perplexity que Perplexity-User les ignore généralement, puisque l’action vient d’un humain.

02Les principaux robots IA et leur user-agent

Le tableau suivant synthétise les documentations officielles. Les noms et comportements évoluent : vérifiez-les avant toute modification.

OpenAI : GPTBot, OAI-SearchBot et ChatGPT-User

OpenAI documente quatre agents. Le point essentiel : chaque réglage est indépendant. Vous pouvez autoriser OAI-SearchBot pour apparaître dans la recherche de ChatGPT tout en bloquant GPTBot pour l’entraînement. Si les deux sont autorisés, OpenAI précise qu’un seul crawl peut servir aux deux usages.

• GPTBot : entraînement des modèles ; plages IP publiées.
• OAI-SearchBot : apparition dans les réponses de recherche ; un site exclu peut tout de même apparaître comme simple lien de navigation.
• ChatGPT-User : consultation à la demande d’un utilisateur ou via des GPT personnalisés.
• OAI-AdsBot : vérifie uniquement les pages soumises comme publicités sur ChatGPT.

Référence : documentation officielle des robots OpenAI.

Anthropic : ClaudeBot et ses variantes

Anthropic décrit trois robots (article d’aide mis à jour le 7 avril 2026) : ClaudeBot pour l’entraînement, Claude-SearchBot pour la recherche et Claude-User pour les questions des utilisateurs. Anthropic déconseille le blocage par adresse IP, qui l’empêche de lire votre robots.txt, et publie la liste de ses IP pour vérifier l’origine des requêtes. Détails sur l’aide d’Anthropic.

Perplexity, Apple, Common Crawl et les autres

• Perplexity : PerplexityBot sert à la recherche et n’entraîne pas de modèles de fondation selon l’éditeur ; Perplexity-User suit les actions des utilisateurs.
• Apple : Applebot alimente Spotlight, Siri et Safari ; Applebot-Extended permet de refuser l’entraînement des modèles d’Apple sans quitter ces résultats. La balise nosnippet empêche en plus l’usage du contenu comme contexte dans les réponses IA de Siri.
• Common Crawl : CCBot alimente un jeu de données ouvert, largement réutilisé ; Common Crawl signale que des robots usurpent son nom.

03Google-Extended et AI Overviews : corriger une idée reçue

Une idée circule sur LinkedIn : bloquer Google-Extended retirerait un site des AI Overviews. C’est faux, et la confusion peut coûter cher.

Ce que contrôle réellement le jeton Google-Extended

D’après la documentation des robots Google, Google-Extended contrôle deux choses : l’usage de vos contenus pour entraîner les futurs modèles Gemini, et leur usage pour le grounding (ancrage des réponses) dans les applications Gemini et Vertex AI. Il n’a pas de user-agent propre : Google crawle avec ses robots habituels.

Google-Extended « does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search ».

Source : documentation Google sur ses robots. Nuance importante : bloquer Google-Extended peut donc réduire votre présence comme source dans les réponses de l’application Gemini.

Ce qui régit la présence dans les AI Overviews

Les AI Overviews et AI Mode font partie de Google Search et utilisent Googlebot. Les leviers sont donc ceux de la recherche :

• Le contrôle « Search generative AI » de la Search Console (Paramètres) : il permet d’exclure les liens et contenus d’un site des AI Overviews, d’AI Mode et des fonctionnalités d’IA générative de Discover. Google indique qu’il est déployé pour tous les sites depuis le 31 août 2026, qu’il n’affecte pas le classement dans le reste de Search, et qu’il ne concerne pas l’entraînement.
• Les balises nosnippet, data-nosnippet et max-snippet, pour limiter les extraits repris, page par page ou passage par passage.
• noindex, pour retirer une page de Google Search entièrement.

Pour comprendre comment ces réponses choisissent leurs sources, voyez les facteurs de citation dans les AI Overviews.

04Quels robots IA bloquer : l’arbre de décision

La décision dépend de votre modèle économique et de la valeur de vos contenus. Répondez à ces questions dans l’ordre :

1. Vos revenus dépendent-ils de l’accès payant ou exclusif au contenu (presse, études, formation) ? Si oui, envisagez de bloquer aussi les robots de recherche sur les sections payantes.
2. Voulez-vous être cité et recommandé par les assistants IA ? Si oui, laissez passer OAI-SearchBot, Claude-SearchBot et PerplexityBot.
3. Refusez-vous l’usage de vos contenus pour l’entraînement ? Si oui, bloquez GPTBot, ClaudeBot, CCBot, Google-Extended et Applebot-Extended, en acceptant l’effet possible sur Gemini.
4. Voulez-vous rester dans Google Search mais hors des réponses IA de Google ? Utilisez le contrôle de la Search Console, pas Google-Extended.

Bloquer l’entraînement, garder la visibilité dans les réponses

C’est le profil le plus fréquent pour un site d’entreprise ou un e-commerce : on protège ses contenus de l’entraînement, mais on reste citable. Les robots de recherche et les agents utilisateurs restent autorisés par défaut.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Exemples de règles robots.txt selon le profil du site

Site vitrine, blog ou e-commerce qui veut une visibilité maximale : ne rien bloquer, et vérifier qu’aucune règle générique ne gêne les robots de recherche IA.

Média ou site à contenus payants : autoriser la recherche sur les pages publiques, bloquer les sections réservées pour tous les robots IA.

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /premium/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /

Site qui refuse tout usage par l’IA : bloquer l’ensemble des robots et jetons ci-dessus, et activer l’exclusion dans la Search Console pour les fonctionnalités d’IA de Google.

Rappel de syntaxe : un robot qui trouve un groupe à son nom ignore le groupe « User-agent: * ». Répétez donc dans son groupe les règles générales (par exemple vos exclusions d’URL techniques). Pour les règles de base, voyez le guide pratique du robots.txt.

05Vérifier le passage des robots IA dans vos logs serveur

Le robots.txt exprime une préférence. Les logs montrent ce qui se passe réellement. Une vérification mensuelle suffit pour la plupart des sites :

1. Exportez les logs d’accès (serveur, hébergeur ou CDN) sur au moins 30 jours.
2. Filtrez les user-agents IA, par exemple : grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Applebot" access.log
3. Comptez les requêtes par robot, par répertoire et par code de réponse (200, 403, 404).
4. Vérifiez l’origine des IP avec les listes publiées par les éditeurs (OpenAI, Anthropic, Perplexity, Common Crawl) : un user-agent se falsifie facilement.
5. Contrôlez qu’un robot bloqué ne revient plus sur les zones interdites après le délai annoncé.

Les logs révèlent aussi les pages que les robots de recherche IA visitent le plus, utile pour prioriser vos contenus. La méthode complète figure dans l’analyse de logs SEO pas à pas, et l’impact sur les gros sites dans l’optimisation du crawl budget.

06Limites du blocage des robots IA et erreurs à éviter

Le robots.txt repose sur la bonne volonté des robots. Il ne protège ni contre les acteurs malveillants, ni contre les copies déjà collectées.

Les robots qui ignorent les directives

• Les agents déclenchés par un utilisateur (ChatGPT-User, Perplexity-User) peuvent ne pas appliquer le robots.txt, selon leurs éditeurs.
• Le 4 août 2025, Cloudflare a accusé Perplexity d’utiliser des robots non déclarés, avec un user-agent de navigateur générique et des IP hors de ses plages officielles, pour contourner des blocages ; Cloudflare dit l’avoir retiré de sa liste de robots vérifiés.
• Des scrapers usurpent les user-agents connus : seule la vérification d’IP ou de DNS inverse confirme l’origine.
• Un blocage ne retire pas les contenus déjà collectés avant sa mise en place.

Règles de pare-feu et options de Cloudflare

Un pare-feu applicatif (WAF) ou un CDN bloque réellement les requêtes, là où le robots.txt se contente de demander. Cloudflare propose AI Crawl Control sur toutes ses offres : suivi de l’activité des robots IA, règles par robot, détection des robots qui ne respectent pas le robots.txt, et paiement à l’exploration en bêta privée.

Bloquer par erreur Googlebot ou un robot de recherche IA

• Bloquer Googlebot pour « bloquer l’IA de Google » : vous disparaissez de Google Search, AI Overviews compris.
• Utiliser « User-agent: * » avec « Disallow: / » sur un site de préproduction puis le mettre en ligne tel quel.
• Bloquer OAI-SearchBot ou PerplexityBot en pensant bloquer l’entraînement.
• Bloquer les robots IA par plage d’IP : Anthropic rappelle que cela empêche la lecture de votre robots.txt.
• Servir le contenu principal uniquement en JavaScript : tous les robots ne le rendent pas comme Googlebot, comme l’explique l’article sur le JavaScript SEO.

Ces réglages font partie de l’optimisation technique GEO, et peuvent être contrôlés lors d’un audit GEO. Pour la manière dont les modèles lisent ensuite vos pages, voyez LLM SEO.

07Questions fréquentes

Comment bloquer ChatGPT sur son site ?

Tout dépend de ce que vous voulez bloquer. Pour refuser l’entraînement, ajoutez « User-agent: GPTBot » suivi de « Disallow: / » dans votre robots.txt. Pour ne plus apparaître dans la recherche de ChatGPT, bloquez aussi OAI-SearchBot. ChatGPT-User, déclenché par un utilisateur, peut ne pas respecter le robots.txt : seul un blocage au niveau du serveur ou du pare-feu l’arrête réellement.

Google-Extended empêche-t-il l’affichage dans les AI Overviews ?

Non. Selon Google, ce jeton n’a aucun effet sur l’inclusion dans Google Search, dont font partie les AI Overviews. Il contrôle l’entraînement des modèles Gemini et le grounding dans les applications Gemini et Vertex AI. Pour sortir des AI Overviews et d’AI Mode, utilisez le contrôle « Search generative AI » de la Search Console, ou les balises nosnippet.

Faut-il bloquer les robots IA ?

Pas tous. Pour la plupart des entreprises, bloquer les robots d’entraînement est un choix défendable, mais bloquer les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) revient à renoncer aux citations dans ces assistants. Les sites à contenus payants peuvent aller plus loin sur leurs sections réservées. Décidez robot par robot, selon votre modèle économique.

Quelle différence entre GPTBot et OAI-SearchBot ?

GPTBot collecte des pages pour entraîner les modèles d’OpenAI. OAI-SearchBot indexe les pages pour les faire apparaître, avec un lien, dans les réponses de recherche de ChatGPT. Les deux se règlent séparément dans le robots.txt : vous pouvez bloquer le premier et autoriser le second, ce qui limite l’entraînement sans perdre la visibilité dans ChatGPT.

Comment savoir si les robots IA visitent mon site ?

Analysez vos logs serveur ou ceux de votre CDN : filtrez les user-agents GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et les autres, puis comptez leurs requêtes par répertoire. Vérifiez ensuite les adresses IP avec les listes publiées par les éditeurs, car les user-agents peuvent être usurpés. Cloudflare affiche aussi cette activité dans AI Crawl Control.