Un robots.txt, quatre géants : bloquer l'entraînement IA en 20 min

Jusqu'ici, refuser l'entraînement des IA sur votre site revenait à tenir une liste de robots : GPTBot, ClaudeBot, Google-Extended, et un nouveau nom chaque trimestre. Le 30 octobre 2026, Google, OpenAI, Microsoft et Anthropic ont annoncé qu'ils soutiendraient une seule ligne pour tous. Pour une PME ou un freelance qui publie du contenu de valeur (guides, études, catalogues, tarifs), c'est vingt minutes de travail. À condition de savoir ce que cette ligne couvre, et ce qu'elle laisse passer.

Ce qui a été annoncé le 30 octobre, et ce qui ne l'est pas encore

Le jeton s'appelle __usage_ai-training. Il est défini dans un brouillon IETF, « Machine-Readable Training Preference Signal » (draft-kelley-aipref-training-preference-signal), rédigé par Kevin Kelley, d'Anthropic. Daté du 30 octobre 2026, il expire le 3 mai 2027. Statut exact : une contribution individuelle, non endossée par l'IETF, sans valeur de norme.

Le calendrier, selon Unite.AI et le billet de Google :

• Anthropic : Kevin Kelley indique que l'implémentation a déjà commencé, sans date de mise en service publique.
• OpenAI : engagement le jour même, mise en œuvre « dans les prochains mois ».
• Microsoft (Bing) : nouvelles préférences effectives le 1er février 2027. Elles remplacent NoArchive et NoCache pour l'entraînement et le grounding. Date limite pour publier les nouvelles préférences : le 1er mars 2027.
• Google : objectif 2027. Si votre site utilise le jeton sans mentionner Google-Extended, Google le traitera comme un blocage de Google-Extended.

Aujourd'hui, personne n'est donc encore tenu par ce jeton en production. Publier la ligne maintenant, c'est déposer une préférence qui sera lue plus tard. Bloquer GPTBot ou ClaudeBot par leur nom, c'est ce qui fonctionne déjà.

Avant de toucher au fichier : choisir entre bloquer l'entraînement et rester citable

C'est la décision qui compte, et elle n'est pas technique. Les éditeurs séparent trois usages, avec des robots distincts :

• Entraînement du modèle : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, Applebot-Extended, CCBot (Common Crawl).
• Recherche / index pour les réponses : OAI-SearchBot, Claude-SearchBot, et Googlebot pour la recherche Google.
• Requêtes à la demande d'un utilisateur : ChatGPT-User, Claude-User.

Bloquer tout par réflexe a un coût : si OAI-SearchBot ne peut plus lire votre site, ChatGPT ne vous citera pas. Nous avons détaillé ce mécanisme dans notre plan GEO pour être cité par ChatGPT, Gemini et Perplexity. Microsoft le dit d'ailleurs noir sur blanc : restreindre le grounding réduit la visibilité de la marque dans ses expériences IA.

Trois profils se dégagent :

1. Vous vivez de l'être cité (conseil, e-commerce, artisan, cabinet) : bloquez l'entraînement, laissez la recherche ouverte. C'est le choix de la majorité des PME, et celui du fichier ci-dessous.
2. Votre contenu est le produit (études payantes, médias, bases de données) : bloquez l'entraînement et examinez au cas par cas la recherche.
3. Vous ne savez pas : ne changez rien aujourd'hui, mais regardez vos logs (étape 1).

Étape 1 : savoir qui visite déjà votre site (5 min)

Avant de bloquer, mesurez. Si vous avez accès aux logs du serveur (OVH, o2switch, Cloudflare), cherchez les robots IA des dernières semaines :

grep -ciE 'GPTBot|ClaudeBot|OAI-SearchBot|Claude-SearchBot|CCBot|Applebot' access.log

Pour le détail par robot, retirez le -c et regardez les lignes. Pas d'accès aux logs ? Le tableau de bord de votre hébergeur ou de Cloudflare (analytique des robots) donne en général la même information. Notez ce que vous voyez : cela vous servira à vérifier, plus tard, que le blocage produit un effet.

Si ChatGPT n'arrive pas à ouvrir votre site, le souci est parfois ailleurs. Le test pas à pas est dans notre tuto sur le diagnostic Aura.

Étape 2 : écrire le robots.txt (10 min)

Voici le fichier pour le profil 1 : entraînement bloqué, recherche ouverte. À adapter, notamment le dossier /presse/ que l'exemple du brouillon exclut du blocage.

# Préférence entraînement IA (brouillon IETF du 30/10/2026)
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

# Robots d'entraînement, blocage par nom (valable aujourd'hui)
User-Agent: GPTBot
Disallow: /

User-Agent: ClaudeBot
Disallow: /

User-Agent: Google-Extended
Disallow: /

User-Agent: Applebot-Extended
Disallow: /

User-Agent: CCBot
Disallow: /

# Recherche et réponses IA : laissés ouverts
User-Agent: OAI-SearchBot
Allow: /

User-Agent: Claude-SearchBot
Allow: /

User-Agent: *
Allow: /
Sitemap: https://www.votre-site.fr/sitemap.xml

Quelques points de syntaxe, tirés du brouillon et de la synthèse d'Unite.AI :

• Le jeton se place sur une ligne User-Agent, comme un robot ordinaire. Aucune nouvelle directive : les règles de chemin de la RFC 9309 s'appliquent, la règle la plus précise l'emporte.
• Un groupe User-Agent: * ne s'applique pas au jeton. Sans groupe dédié, vous n'exprimez aucune préférence.
• Les parseurs qui ne connaissent pas le jeton ignorent simplement le groupe. Aucun risque de casser le fichier.
• Le brouillon définit l'entraînement comme l'usage d'un contenu pour « modifier les paramètres appris d'un modèle d'IA générative ». Les modèles non génératifs sont exclus.

Où déposer le fichier selon votre site

• Site statique ou PHP en FTP : robots.txt à la racine, accessible sur https://votre-site.fr/robots.txt.
• WordPress : l'extension SEO (Yoast, Rank Math) propose un éditeur de robots.txt. Si un fichier physique existe à la racine, c'est lui qui prime.
• Cloudflare : le service peut gérer ou compléter votre robots.txt côté réseau. Contrôlez le fichier réellement servi, pas celui de votre dépôt.
• Shopify, Wix et autres hébergés : l'édition est limitée ou passe par un modèle. Regardez ce que votre plateforme autorise avant de promettre quoi que ce soit.

Étape 3 : vérifier que le bon fichier est servi (3 min)

La panne la plus fréquente, ce n'est pas la syntaxe, c'est un cache ou un CDN qui sert l'ancienne version.

curl -s https://www.votre-site.fr/robots.txt | grep -n '__usage_ai-training'
curl -sI https://www.votre-site.fr/robots.txt | head -n 5

La première commande doit renvoyer la ligne du jeton. La seconde doit afficher un code 200 et un type text/plain. Un 404 ou une page HTML d'erreur veut dire que le fichier n'est pas lu. Un 5xx est pire : certains robots traitent une erreur serveur comme une consigne de ne rien explorer.

Un audit de site fait le contrôle à votre place : l'outil Site Audit de Semrush signale un robots.txt injoignable ou une règle qui bloque des pages importantes. Utile si vous gérez plusieurs sites.

Étape 4 : fixer les dates de contrôle

Le jeton n'est pas encore honoré partout. Il faut donc prévoir quatre rendez-vous.

1. 15 décembre 2026 : Microsoft ouvre, dans Bing Webmaster Tools, des préférences transitoires de grounding pour les sites qui utilisent encore NoArchive/NoCache. Si vous avez ces balises, regardez ce que vous y trouvez.
2. 1er février 2027 : les nouvelles préférences Microsoft prennent effet.
3. 1er mars 2027 : date limite pour publier les nouvelles préférences chez Microsoft. Ensuite, les anciennes balises ne sont plus lues pour ces usages.
4. 3 mai 2027 : expiration du brouillon IETF. S'il n'a pas été renouvelé ou adopté, relisez le statut avant de supposer que le jeton tient toujours.

Côté Microsoft, un détail mérite l'attention. Le grounding a trois valeurs : Allow, Disallow, et DisallowExtended, qui limite l'usage aux produits Microsoft (Copilot, AI Mode, AI Overview, Microsoft 365) en excluant les services tiers. Par défaut, tout est en Allow.

Ce que ce robots.txt ne règle pas

Trois angles morts, à connaître avant de rassurer votre direction.

• Le passé. Ce que les robots ont collecté avant votre fichier reste collecté. Rien dans l'annonce n'organise un retrait.
• Les robots hors accord. Les quatre signataires s'engagent. Les autres sont seulement « encouragés ». Les scrapers sans scrupule ignorent robots.txt. Cloudflare et un pare-feu applicatif sont alors les vrais outils.
• Vos propres prompts. Le robots.txt concerne le contenu public de votre site, pas ce que vos équipes collent dans un chatbot. Pour ce volet, la case à décocher dans ChatGPT, Gemini, Copilot et Mistral reste le bon réflexe.

Le contexte réglementaire joue en faveur du fichier : Google indique que la proposition est cohérente avec le code de bonnes pratiques de l'AI Act européen, qui reconnaît robots.txt comme moyen principal d'exprimer une préférence lisible par machine. Publier la ligne vous place donc du bon côté si un éditeur vous oppose un jour « vous n'aviez rien exprimé ».

Notre avis : publiez-le ce soir, ne démontez rien

Le coût est quasi nul, le risque limité si vous respectez la règle des robots de recherche. Mais le jeton n'est qu'une promesse à six mois, adossée à un brouillon qui peut encore bouger. Gardez les blocages nominatifs, ajoutez la ligne __usage_ai-training en plus, relisez le fichier en février. Et si votre trafic dépend de ChatGPT ou de Claude, ne touchez pas aux robots de recherche : c'est là que se joue votre visibilité, pas dans l'entraînement. Pour vérifier ce qu'un assistant voit réellement de votre site, essayez de le lui faire lire dans Claude ou ChatGPT avec l'URL d'une de vos pages clés.