Deine robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website. Sie sagt Crawlern, auf welche Seiten sie zugreifen dürfen und welche tabu sind. Für klassische Suchmaschinen ist die robots.txt optional. Für KI-Crawler ist sie das wichtigste Mittel, um zu steuern, ob deine Inhalte indexiert oder blockiert werden.
Der Unterschied zählt. Google beachtet die robots.txt, crawlt aber auch Seiten, die du blockierst, wenn andere Websites auf sie verlinken. KI-Crawler halten sich strenger an die robots.txt. Blockierst du GPTBot in deiner robots.txt, zitiert ChatGPT deine Inhalte nicht. Erlaubst du ihn, stehen deine Inhalte für KI-Zitierungen bereit. Dieses Kapitel zeigt, wie die wichtigsten KI-Crawler heissen, wie du bestimmte Bots blockierst und welche Strategie für deine Marke sinnvoll ist.
So funktioniert die robots.txt bei KI-Crawlern
Besucht ein Crawler deine Website, prüft er als Allererstes, ob es eine robots.txt gibt. Er liest die Datei Zeile für Zeile und sucht Regeln, die für ihn gelten. Steht in deiner robots.txt "disallow: /", kann kein Crawler auf irgendeine Seite zugreifen. Steht dort "disallow: /admin/", können Crawler auf alles zugreifen, ausser auf den Admin-Ordner.
KI-Crawler befolgen diese Regeln konsequenter als Googlebot. Blockierst du ClaudeBot in der robots.txt, indexiert Claude deine Inhalte nicht. Punkt. Googlebot crawlt gesperrte Seiten unter Umständen trotzdem, wenn die Inhalte von anderen Websites verlinkt werden, aber KI-Crawler halten bei der Anweisung in der robots.txt an.
Das Format ist einfach. Du schreibst Regeln, die festlegen, welche User-Agents (Crawler-Namen) für welche Regeln gelten, und listest dann auf, worauf diese Crawler zugreifen dürfen und worauf nicht. Die Datei ist reiner Text. Kein Markup. Keine besondere Formatierung. Nur Regeln.
Die wichtigsten KI-Crawler und ihre User-Agent-Namen
Jeder Crawler hat einen User-Agent-Namen. Besucht er deine Website, stellt er sich mit diesem Namen vor. Diesen Namen nutzt du in der robots.txt, um Regeln für genau diesen Crawler anzulegen.
Das sind die wichtigsten KI-Crawler, die du kennen solltest:
GPTBot (OpenAI)
GPTBot ist der Crawler von OpenAI. Er indexiert Inhalte für ChatGPT. Aktiviert ein Nutzer in ChatGPT die Websuche, greift das System auf Seiten zurück, die GPTBot indexiert hat. GPTBot crawlt intensiv, hält sich aber an die Regeln der robots.txt.
Um GPTBot zuzulassen, musst du nichts tun. Er crawlt standardmässig. Um ihn zu blockieren, füge diese Zeilen in deine robots.txt ein:
User-agent: GPTBot
Disallow: /
Diese Regel sagt: "GPTBot, du darfst auf keine Seite dieser Website zugreifen." Willst du nur bestimmte Bereiche sperren, kannst du genauer werden. So sperrst du den Ordner /admin/ und erlaubst den Rest:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot ist der Crawler von Anthropic. Er indexiert Inhalte für die Websuche von Claude. ClaudeBot ist aktiver als GPTBot. Er stellt mehr Anfragen und crawlt häufiger. Erlaubst du ClaudeBot, behalte deine Server-Ressourcen im Blick.
ClaudeBot stellt sich mit diesem User-Agent-Namen vor. Nutze ihn in deiner robots.txt genauso wie bei GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot crawlt das Web für Perplexity. Er gehört zu den häufigeren Crawlern. Er aktualisiert Inhalte mehrmals täglich, weil Perplexity Aktualität priorisiert. Blockierst du PerplexityBot, erscheinen deine Inhalte nicht in Antworten von Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google KI)
Google hat zwei Crawler. Googlebot crawlt für die klassische Suche. Googlebot-Extended crawlt für die KI-Systeme von Google wie KI-Übersichten und Gemini. Du kannst Googlebot-Extended blockieren und Googlebot zulassen.
User-agent: Googlebot-Extended
Disallow: /
Weitere Crawler
Auch andere Suchmaschinen haben Crawler, zum Beispiel die von Microsoft und die regionaler Anbieter. Das Prinzip ist dasselbe. Finde den User-Agent-Namen heraus und lege eine Regel an.
Die Strategie: zulassen oder blockieren?
Die meisten Marken sollten KI-Crawlern den Zugriff auf ihre Inhalte erlauben. KI-Zitierungen bringen hochwertigen Traffic. Nutzer, die deine Inhalte über ChatGPT oder Perplexity finden, haben schon entschieden, dass deine Antwort wertvoll ist. Sie klicken durch und konvertieren häufiger als Besucher aus der klassischen Suche.
Es gibt Ausnahmen. Hast du geschützte Informationen, Geschäftsgeheimnisse oder Inhalte, die exklusiv bleiben sollen, ist es sinnvoll, KI-Crawler zu blockieren. Hast du Inhalte hinter einer Paywall, kannst du bestimmte Crawler sperren, damit niemand sie kostenlos über KI-Zusammenfassungen bekommt. Hast du Inhalte, die peinlich oder veraltet sind, kannst du KI-Crawler sperren, bis du sie aktualisiert hast.
Bei den meisten Inhalten ist die Rechnung aber einfach. KI-Sichtbarkeit schafft mehr Chancen als Risiken. Lass die Crawler zu. Werde zitiert. Gewinne Traffic.
Bestimmte Crawler blockieren und andere zulassen
Du musst dich nicht zwischen allem und nichts entscheiden. Du kannst einige KI-Crawler zulassen und andere blockieren.
So erlaubst du Perplexity und GPTBot, blockierst aber ClaudeBot, weil die Crawl-Häufigkeit von ClaudeBot deinen Server belastet:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Das leere "Disallow:" bedeutet: keine Einschränkung. Dieser Crawler darf auf alles zugreifen.
Du kannst KI-Crawler auch für bestimmte Bereiche sperren. So erlaubst du GPTBot überall, ausser in deinem Admin-Bereich:
User-agent: GPTBot
Disallow: /admin/
So erlaubst du ihm, deinen Blog zu crawlen, aber nicht deine Produkte:
User-agent: GPTBot
Disallow: /products/
Die Wildcard-Regel und das Standardverhalten
Du kannst Regeln für bestimmte Crawler und eine Standardregel für alle anderen anlegen. Das Sternchen (*) ist der Platzhalter für alle Crawler, die nicht ausdrücklich genannt sind.
Diese Regel sperrt alle Crawler für /private/ und erlaubt alles andere:
User-agent: *
Disallow: /private/
Diese Regel sperrt alle Crawler komplett:
User-agent: *
Disallow: /
Die Crawl-delay-Anweisung
Du kannst Crawler bremsen. Die Anweisung Crawl-delay sagt einem Crawler, dass er zwischen Anfragen eine bestimmte Zahl von Sekunden warten soll. Kommt dein Server mit dem intensiven Crawling von ClaudeBot nicht zurecht, kannst du ihn bremsen:
User-agent: ClaudeBot
Crawl-delay: 5
Das heisst: ClaudeBot muss zwischen zwei Anfragen 5 Sekunden warten. Das verlangsamt das Crawling, entlastet aber den Server.
Wie die robots.txt mit deiner Sitemap zusammenhängt
Deine robots.txt kann auf deine Sitemap verweisen. Füge diese Zeile am Ende deiner robots.txt ein:
Sitemap: https://yoursite.com/sitemap.xml
Crawler prüfen deine robots.txt und sehen den Verweis auf die Sitemap. So wissen sie, wo sie die Übersicht deiner Inhalte finden. Das beschleunigt die Entdeckung. Es ändert nichts daran, worauf Crawler zugreifen dürfen. Es sagt ihnen nur, wo sie suchen sollen.
Deine robots.txt testen
Du kannst deine robots.txt testen, bevor du sie live stellst. Die Google Search Console enthält einen robots.txt-Tester. Du gibst eine URL und einen User-Agent-Namen ein, und er zeigt dir, ob dieser Crawler nach den Regeln deiner robots.txt auf diese Seite zugreifen darf.
Die meisten Content-Plattformen, auch WEMASY, erzeugen automatisch eine robots.txt. Schau in deine Website-Einstellungen. Kannst du sie bearbeiten, kannst du eigene Regeln ergänzen. Wenn nicht, wende dich an deinen Hosting-Anbieter.
Häufig gestellte Fragen
Wenn ich alle KI-Crawler blockiere, rankt meine Website dann noch bei Google?
Ja. Das Blockieren von KI-Crawlern (GPTBot, ClaudeBot und so weiter) beeinflusst das Google-Ranking nicht. Google nutzt Googlebot für die klassische Suche und Googlebot-Extended für KI-Funktionen. Willst du nur KI-Crawler blockieren, aber Google den Zugriff lassen, sperre gezielt die Namen der KI-Crawler und lass Googlebot und Googlebot-Extended unblockiert. Mit dem Website-Builder von WEMASY richtest du das direkt auf deiner Website ein.
Kann ich KI-Trainings-Crawler blockieren, aber KI-Such-Crawler zulassen?
Die Grenze zwischen Trainings- und Such-Crawlern ist unscharf. Die meisten grossen KI-Unternehmen nutzen heute dieselben Crawler für beides. Blockierst du einen KI-Crawler komplett, sperrst du sowohl seinen Trainingszugriff als auch seinen Suchzugriff. Mit der robots.txt kannst du nicht gezielt nur das Training oder nur die Suche sperren. Du blockierst den Crawler ganz oder lässt ihn zu.
Was passiert, wenn ich keine robots.txt habe?
Hast du keine robots.txt, gehen Crawler davon aus, dass sie auf alles zugreifen dürfen. Alle Crawler (Google, andere Suchmaschinen, GPTBot, ClaudeBot, alle) indexieren deine gesamte Website. Für die meisten Websites ist das gewünscht. Willst du bestimmte Crawler oder Bereiche blockieren, brauchst du eine robots.txt.
Können KI-Crawler meine robots.txt umgehen?
Theoretisch ja, aber sie tun es nicht. KI-Crawler halten sich strenger an die robots.txt als Googlebot. Sagst du einem KI-Crawler, er soll draussen bleiben, bleibt er draussen. Die Entwickler der Crawler wissen, dass das Missachten der robots.txt ihr Verhältnis zu Verlagen beschädigt. Sie halten sich an die Regeln.
Wie oft muss ich meine robots.txt aktualisieren?
Nur, wenn sich deine Sperrregeln ändern. Willst du einen neuen Crawler blockieren oder einen bisher gesperrten Bereich öffnen, aktualisiere sie. Ansonsten kannst du sie nach der Einrichtung in Ruhe lassen. Crawler prüfen sie bei jedem Besuch, Änderungen wirken also sofort.
Sollte ich KI-Crawler den Zugriff auf meine Wettbewerbsanalyse oder private Recherche verbieten?
Ja. Hast du Seiten mit eigener Recherche, Wettbewerbsanalysen oder Inhalten, die nicht öffentlich sein sollen, sperre alle Crawler für diese Bereiche. Ergänze eine Disallow-Regel für diesen Ordner oder diese Seiten. Crawler indexieren sie dann nicht, und KI-Systeme können sie nicht zitieren.