Kostenloses SEO- und KI-Crawl-Tool
Kostenloser robots.txt Generator
Erstellen Sie eine einsatzbereite robots.txt für WordPress, Blogger, Wix, Shopify und jedes CMS. Steuern Sie Suchcrawler und KI-Bots (GPTBot, ClaudeBot, PerplexityBot, Google-Extended und weitere), fügen Sie Sitemaps hinzu, und laden Sie die Datei herunter oder kopieren Sie sie.
Sitemap(s)
Verzeichnisse erlauben
Verzeichnisse sperren
User-agents erlauben
Mit Alle nehmen Sie jeden Crawler darunter auf (sie werden markiert und gesperrt). Oder wählen Sie einzelne Such- und KI-Bots.
Suchmaschinen und SEO-Bots
KI-Crawler
User-agents sperren
Sperren Sie Trainings-Crawler (zum Beispiel GPTBot, ClaudeBot, Google-Extended) und lassen Sie Such-Bots zu, wenn KI zitieren darf, aber nicht trainieren.
Suchmaschinen und SEO-Bots
KI-Crawler