On entend souvent parler de la directive disallow: dans le fameux fichier robots.txt, mais beaucoup moins de sa cousine discrète et pourtant super utile : allow:. Et pourtant, c’est grâce à elle qu’on peut affiner les règles de crawl et laisser passer quelques pages bien choisies, même au milieu d’un répertoire verrouillé.
En clair, allow: sert à dire aux moteurs de recherche : “ok, cette partie-là est bloquée… sauf cette page précise que tu peux explorer”. Et dans certaines stratégies SEO, cette nuance peut faire toute la différence.
À quoi sert la directive allow: dans un fichier robots.txt ?
Le fichier robots.txt, c’est un peu le plan de circulation des robots sur votre site. Il leur indique où ils ont le droit d’aller… et où c’est interdit. Quand on veut bloquer l’accès à certaines zones (comme des pages privées ou sensibles), on utilise disallow:. Mais parfois, dans un répertoire bloqué, il y a une ou deux pages qu’on aimerait quand même faire indexer. C’est là que allow: entre en jeu.
Elle vient affiner la règle. Elle dit en gros : “Interdiction de visiter ce dossier… sauf cette page-là, tu peux y aller.”
Un exemple concret pour illustrer tout ça :
Imaginons un dossier /private/
qu’on ne veut pas indexer, mais avec une page publique dedans. On peut faire :
User-agent: *
Disallow: /private/
Allow: /private/public-page.html
Résultat : les moteurs n’indexeront pas les autres fichiers de /private/
, mais auront le droit de crawler la page autorisée. Pratique, non ?
Quel est l’intérêt d’utiliser allow: dans une stratégie SEO ?
Utilisée à bon escient, cette directive peut vraiment affiner la façon dont votre site est exploré. Elle permet notamment de :
- Avoir un contrôle chirurgical : On choisit précisément les pages qu’on veut ouvrir aux robots, sans exposer tout un répertoire.
- Optimiser l’indexation : Vous mettez en avant uniquement les contenus utiles à votre SEO, même s’ils sont planqués dans une zone bloquée.
- Gérer la charge serveur : En évitant aux robots de se balader partout, vous économisez des ressources précieuses (et du crawl budget).
Trois cas concrets où la directive allow: change la donne
1. Vous voulez montrer des articles dans un blog partiellement restreint
Par exemple, un blog rangé dans /blog/
avec des articles anciens ou hors sujet qu’on préfère ne pas indexer… sauf deux ou trois articles stars. Le robots.txt pourrait ressembler à ça :
User-agent: *
Disallow: /blog/
Allow: /blog/top-article-1.html
Allow: /blog/top-article-2.html
Les robots ignoreront les autres pages du blog, mais viendront tranquillement lire vos deux contenus vedettes.
2. Vous avez des fichiers médias sensibles
Sur certains sites, il y a des vidéos, des PDF ou des images qu’on ne souhaite pas exposer à tous, mais où quelques fichiers méritent d’être indexés (tutos, documents utiles…). Exemple :
User-agent: *
Disallow: /media/videos/
Allow: /media/videos/video1.mp4
Allow: /media/videos/video2.mp4
On verrouille l’ensemble, mais on ouvre la porte à ce qui peut servir votre visibilité.
3. Vous gérez un site avec du contenu dynamique
Certains sites génèrent plein de pages automatiquement (ex. : dernières news, comparatifs en temps réel…). Et parfois, on veut n’indexer que les pages les plus pertinentes :
User-agent: *
Disallow: /dynamic/
Allow: /dynamic/latest-news.html
C’est une façon simple d’éviter d’indexer des pages temporaires tout en gardant l’accès à ce qui mérite de l’être.
Bonnes pratiques à garder en tête
Comme souvent en SEO, ce sont les petits détails bien maîtrisés qui font la différence. Voici nos conseils pour bien utiliser allow: :
- Misez sur les pages stratégiques : Ne laissez accessibles que les contenus qui ont une vraie valeur SEO ou utilisateur.
- Testez, testez, testez : Une faute de frappe dans un chemin, et votre directive devient inutile. Utilisez la Search Console pour valider votre fichier.
- Commentez vos règles : Ça paraît bête, mais c’est hyper utile. Surtout quand vous revenez dessus plusieurs mois plus tard ou que d’autres personnes gèrent votre site.
En résumé : une petite ligne, de gros effets
La directive allow:, ce n’est pas juste un détail technique. C’est un vrai levier d’optimisation quand on veut combiner finesse, stratégie et clarté dans sa gestion de l’indexation.
Elle permet de débloquer des contenus clés au sein de zones restreintes, sans compromettre la sécurité ou la confidentialité d’autres pages. Et surtout, elle vous aide à envoyer un message clair aux moteurs : “Voici ce que je veux que tu vois… et rien d’autre.”
Combinée à disallow:, elle devient un duo de choc pour contrôler précisément ce que Google ou Bing peut (ou ne peut pas) explorer. Et dans une optique SEO, ce genre de finesse est souvent ce qui permet de faire la différence.
Vous voulez reprendre le contrôle sur ce que Google explore ?
On vous aide à auditer et optimiser votre fichier robots.txt pour ne laisser passer que le meilleur — et verrouiller le reste.
🔍 Améliorer mon indexation SEO