Une page produit publiée dans Shopify n’est pas automatiquement accessible à tous les robots. Le fichier robots.txt, les réponses du serveur et les restrictions de la boutique influencent l’accès. Pour les robots d’IA, commencez par comprendre l’objectif de chaque agent avant de modifier vos règles.
Distinguez exploration et indexation
robots.txt donne des consignes d’exploration aux robots conformes. Il ne constitue pas un contrôle d’accès confidentiel : une URL bloquée peut parfois être découverte par d’autres liens. Pour empêcher l’accès à des données privées, utilisez une authentification adaptée, pas seulement robots.txt.
Google précise aussi qu’une page accessible et techniquement valide peut rester non indexée. Contrôlez la disponibilité, le contenu indexable, les liens internes et les directives noindex en plus du fichier robots.
- Vérifiez que les pages à faire découvrir sont publiques et répondent correctement.
- Examinez les règles robots et les balises robots de vos modèles Shopify.
- Utilisez les rapports d’exploration et d’indexation de Search Console pour les pages Google.
OAI-SearchBot et GPTBot n’ont pas le même rôle
OpenAI documente OAI-SearchBot pour la découverte de sites dans les résultats de recherche ChatGPT. GPTBot concerne l’exploration de contenus susceptibles d’être utilisés pour l’entraînement de modèles. Les consignes de ces robots sont indépendantes : autoriser l’un n’oblige pas à autoriser l’autre.
Décidez selon vos préférences de diffusion et de réutilisation, puis appliquez les règles au bon agent. Ne copiez pas une règle générique sans vérifier qu’elle correspond à votre politique éditoriale et aux chemins concernés.
Faites un changement mesuré
Avant une modification, sauvegardez les règles en place et identifiez précisément le chemin concerné. Après publication, vérifiez le fichier robots.txt servi sur le domaine de la boutique et surveillez les journaux serveur ou les outils du fournisseur lorsqu’ils sont disponibles.
L’autorisation d’exploration ne promet ni indexation ni citation. Elle enlève au mieux un obstacle d’accès ; la qualité, la pertinence, la disponibilité et les politiques du système restent déterminantes.
Sources et références
Questions fréquentes
Dois-je autoriser GPTBot pour apparaître dans la recherche ChatGPT ?
La documentation OpenAI distingue OAI-SearchBot, utilisé pour la recherche, de GPTBot, associé à l’entraînement. Vérifiez la documentation officielle et choisissez chaque règle indépendamment.
robots.txt suffit-il à protéger une page privée ?
Non. robots.txt exprime une consigne aux robots, pas une protection d’accès. Utilisez une authentification et des contrôles serveur pour des contenus privés.