Strumento SEO e crawl IA gratis
Generatore robots.txt gratuito
Crea un robots.txt pronto per la produzione per WordPress, Blogger, Wix, Shopify e qualsiasi CMS. Controlla crawler di ricerca e bot IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended e altri), aggiungi sitemap, poi scarica o copia.
Sitemap
Consenti cartelle
Blocca cartelle
Consenti user-agent
Scegli Tutti per includere ogni crawler sotto (verranno selezionati e bloccati). Oppure scegli bot di ricerca e IA specifici.
Motori di ricerca e bot SEO
Crawler IA
Blocca user-agent
Blocca i crawler di addestramento (ad esempio GPTBot, ClaudeBot, Google-Extended) e lascia passare i bot di ricerca se vuoi citazioni IA senza uso per addestrare modelli.
Motori di ricerca e bot SEO
Crawler IA