Guides › Robots d'IA bloqués

Les robots d'IA que votre site bloque sans le savoir

GPTBot, ClaudeBot, PerplexityBot : comment vérifier en une minute si votre robots.txt les interdit, et comment corriger.

C'est le blocage le plus fréquent, et de loin le plus facile à corriger. Un fichier de trois lignes, posé à la racine de votre site, peut interdire à ChatGPT et à Claude de vous lire, et donc de vous recommander. Beaucoup de dirigeants découvrent ce blocage sans jamais l'avoir décidé.

D'où vient ce blocage

Le fichier robots.txt est une convention ancienne : il indique aux robots ce qu'ils ont le droit de parcourir. Quand les robots d'IA sont apparus, trois choses se sont produites en même temps :

• des extensions de sécurité et de référencement ont ajouté ces blocages par défaut ;
• beaucoup d'articles ont conseillé, en 2023, de bloquer les IA pour « protéger son contenu » ;
• des hébergeurs et des CMS ont appliqué ces règles sans prévenir leurs clients.

Le raisonnement de l'époque se tenait pour un média qui vit de ses pages vues. Pour une TPE qui veut être recommandée à un client, il se retourne entièrement : bloquer les IA revient à se rendre invisible au moment précis où le client demande conseil.

Vérifier en une minute

Ouvrez dans votre navigateur l'adresse de votre site suivie de /robots.txt. Par exemple : https://votre-entreprise.fr/robots.txt.

Si la page est vide ou en erreur 404, aucun robot n'est bloqué : c'est bon signe. Si du texte s'affiche, cherchez les noms suivants :

Si l'un de ces noms apparaît sous la forme suivante, il est bloqué :

User-agent: GPTBot
Disallow: /

Attention au cas le plus discret : un blocage général qui s'applique à tout le monde, robots d'IA compris.

User-agent: *
Disallow: /

Corriger

La correction consiste à supprimer les blocs concernés, ou à les remplacer par une autorisation explicite. Un fichier robots.txt sain, pour une entreprise qui veut être citée par les IA, ressemble à ceci :

User-agent: *
Allow: /
Disallow: /wp-admin/

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://votre-entreprise.fr/sitemap.xml

Remplacez l'adresse du sitemap par la vôtre. La ligne Disallow: /wp-admin/ n'est utile que sur WordPress : elle protège l'administration, ce qui est normal et ne gêne aucune IA.

Où modifier le fichier, selon votre site

• WordPress : le plus souvent via votre extension de référencement (Yoast, Rank Math), dans « Outils » puis « Éditeur de fichiers ». Vérifiez aussi les réglages de votre extension de sécurité, qui peut réécrire le fichier.
• Wix, Squarespace, Shopify : un écran dédié existe dans les paramètres de référencement. Cherchez « robots.txt » dans l'aide de la plateforme.
• Site sur mesure : le fichier se trouve à la racine du dossier public. Votre webmaster le modifiera en deux minutes.

Deux pièges fréquents

La balise noindex. Un site peut être autorisé dans robots.txt et malgré tout demander à ne pas être indexé, via une balise <meta name="robots" content="noindex"> dans son code. C'est un réglage courant sur les sites restés en mode « en construction » après leur mise en ligne. Le symptôme est net : le site n'apparaît nulle part, ni dans Google, ni dans les IA.

Le pare-feu. Certains pare-feu applicatifs bloquent les robots d'IA au niveau du serveur, indépendamment du robots.txt. Le fichier semble alors correct alors que les robots sont refusés. Si votre site paraît irréprochable et reste pourtant invisible, c'est la piste à creuser avec votre hébergeur.

Combien de temps avant que ça change

Débloquer ne produit pas d'effet immédiat : les robots doivent repasser, ce qui prend généralement de quelques jours à quelques semaines selon la fréquence de visite de votre site. C'est précisément pour cela que c'est la première correction à faire. Tout le reste de votre travail de visibilité n'a d'effet qu'une fois cette porte ouverte.

À lire aussi