Outil SEO et crawl IA gratuit
Generateur robots.txt gratuit
Créez un robots.txt prêt pour la prod pour WordPress, Blogger, Wix, Shopify et tout CMS. Contrôlez les crawlers de recherche et les bots IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended et d’autres), ajoutez des sitemaps, puis téléchargez ou copiez.
Sitemap(s)
Autoriser des dossiers
Bloquer des dossiers
Autoriser des user-agents
Choisissez Tous pour inclure chaque crawler ci-dessous (ils seront cochés et verrouillés). Ou choisissez des bots de recherche et d’IA précis.
Moteurs et bots SEO
Crawlers IA
Bloquer des user-agents
Bloquez les crawlers d’entraînement (par exemple GPTBot, ClaudeBot, Google-Extended) tout en laissant passer les bots de recherche si vous voulez des citations IA sans entraînement de modèle.
Moteurs et bots SEO
Crawlers IA