Le robots.txt de votre site internet est lu par Google avec quatre mots seulement : user-agent, allow, disallow et sitemap. Tout le reste est écarté sans la moindre alerte, y compris une phrase de bonne volonté comme "don't crawl secret page". Gary Illyes l'a rappelé dans une vidéo résumée par Abondance.
Rien de neuf, mais un bon prétexte pour ouvrir le fichier de son site.
Les quatre mots que Google comprend
Le robots.txt est un petit fichier texte posé à la racine du site. Il indique aux robots d'exploration où ils peuvent aller. User-agent désigne le robot visé, allow et disallow autorisent ou interdisent un chemin, sitemap donne l'adresse du plan du site.
Selon la documentation de Google, une ligne invalide est sautée et les lignes valides qui suivent restent lues. Nuance relevée par ppc.land : "quatre" décrit l'analyseur de Google. La norme officielle n'en définit que trois, sitemap étant une extension très répandue. Les autres robots peuvent donc réagir autrement.
Une consigne polie, et la page reste ouverte
Prenons une PME dont la page de tarifs réservés aux partenaires traîne dans le fichier, avec une phrase en français demandant aux robots de passer leur chemin. Pour Google, cette ligne n'existe pas. La page reste explorable.
Même sort pour crawl-delay, que la documentation dit non supporté, et pour content-signal, ignoré par un analyseur conforme selon Abondance.
Ce que nous vérifions dans un fichier existant
D'abord, nous retirons tout ce que Google ne lit pas. Un fichier court, on sait ce qu'il fait. Ensuite, quatre contrôles :
- La casse des chemins : les noms de champs s'écrivent comme on veut, mais
/fishne couvre pas/Fish.asp. - Le poids : au-delà de 500 Kio, le reste est ignoré.
- Le code HTTP du fichier : une erreur 4xx (hors 429) revient à n'avoir aucune restriction. Une erreur serveur 5xx suspend l'exploration 12 heures, puis Google s'appuie sur la dernière version en cache, jusqu'à 30 jours.
- Le délai : Google garde généralement le fichier en mémoire jusqu'à 24 heures, donc une modification n'est pas immédiate.
Nous testons la syntaxe avec un outil plutôt que de relire à l'œil, conseil que reprend Abondance. Ce contrôle fait partie de la création et de la maintenance d'un site, pas d'une prestation à part.
Un robots.txt ne protège rien
C'est notre position, et elle est simple : le fichier n'oblige personne. Il demande poliment, et seuls les robots bien élevés écoutent. Une page sensible se protège par un compte et un mot de passe. Le portail de commande des revendeurs que nous avons créé pour l'un de nos clients fonctionne ainsi : on y entre avec des identifiants, pas parce qu'une ligne disallow le demande.
Pour sortir une page des résultats, on s'appuie plutôt sur noindex (connaissance générale, les sources lues ne le traitent pas).
Côté robots d'IA, seul le jeton exact de chaque robot peut agir, sans garantie de respect. Google-Extended, par exemple, gouverne l'usage pour Gemini. Le sujet touche à la visibilité dans les IA.
- Google ne lit que user-agent, allow, disallow et sitemap ; le reste est ignoré sans erreur.
- Retirez crawl-delay, content-signal et les phrases en langage naturel.
- Vérifiez la casse des chemins, le poids (500 Kio) et le code HTTP du fichier.
- Pour protéger une page, utilisez une authentification, pas le robots.txt.
Questions fréquentes
Google respecte-t-il la ligne crawl-delay dans un robots.txt ?
Non. La documentation de Google indique que ce champ n'est pas supporté. La ligne est simplement sautée, sans message d'erreur.
Comment empêcher une page d'apparaître dans Google ?
Le robots.txt gère l'exploration, pas l'indexation. En connaissance générale, on utilise plutôt une balise ou un en-tête noindex, et une authentification si la page est vraiment confidentielle.
Un robots.txt trop lourd pose-t-il problème ?
Oui, Google ignore ce qui dépasse 500 Kio. Les règles placées en fin de fichier peuvent donc ne jamais être lues.
Bloquer un robot d'IA suffit-il à protéger mes contenus ?
Il faut citer le jeton exact de chaque robot, et le respect reste volontaire. Le fichier ne contrôle pas ce qu'une IA fait de contenus déjà collectés.