Ob ChatGPT deine Inhalte finden und zitieren kann, steuerst du über drei getrennte Mechanismen: robots.txt, Meta-Tags und HTTP-Header. Die meisten kennen nur einen davon. Wenn du alle drei verstehst, kannst du bewusst entscheiden, wie sichtbar du sein willst.
Es geht nicht nur um Sperren oder Erlauben. Es geht darum, gezielt vorzugehen. Verschiedene Anweisungen bewirken Verschiedenes. Die falsche Kombination kann nach hinten losgehen.
Die drei Steuerungsebenen
Du hast drei Wege, den Crawlern von ChatGPT mitzuteilen, wie sie mit deinen Inhalten umgehen sollen.
Ebene 1: robots.txt
Diese Datei im Stammverzeichnis deiner Domain sagt Crawlern, worauf sie auf deiner ganzen Website oder in bestimmten Bereichen zugreifen dürfen und worauf nicht. Sie steuert das Auffinden und Crawlen.
Ebene 2: Meta-Robots-Tags
Diese HTML-Meta-Tags auf einzelnen Seiten sagen Crawlern, was sie tun sollen, nachdem sie die Seite gefunden und gelesen haben. Sie steuern die Indexierung und Nutzung genau dieser Seite.
Ebene 3: X-Robots-Tag-HTTP-Header
Dieser Header in der HTTP-Antwort deines Servers erfüllt denselben Zweck wie Meta-Robots-Tags, lässt sich aber für die ganze Website oder bestimmte Inhaltstypen setzen. Das ist praktisch für Inhalte, die kein HTML sind, zum Beispiel PDFs.
Die meisten konzentrieren sich auf die robots.txt und vergessen die anderen beiden. Alle drei wirken zusammen.
Ebene 1: robots.txt und OAI-SearchBot verstehen
Deine robots.txt kommuniziert mit OAI-SearchBot (dem Such-Crawler von ChatGPT). ChatGPT beachtet die üblichen robots.txt-Anweisungen.
OAI-SearchBot den Zugriff auf deine Inhalte erlauben
User-agent: OAI-SearchBot
Allow: /
Das ist die Standardeinstellung. OAI-SearchBot crawlt deine ganze Website, und deine Inhalte werden in ChatGPT Search sichtbar.
OAI-SearchBot komplett sperren
User-agent: OAI-SearchBot
Disallow: /
Damit kann ChatGPT Search deine Inhalte nicht finden. Deine Seiten tauchen in den Antworten von ChatGPT nicht auf.
OAI-SearchBot erlauben, aber die Crawl-Rate steuern
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Die Anweisung Crawl-delay sagt dem Bot, dass er zwischen zwei Anfragen 1 Sekunde warten soll. Das hilft, die Serverlast zu begrenzen, wenn der Crawler von ChatGPT deinen Server zu oft aufruft.
Bestimmte Bereiche sperren
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Damit werden deine Verzeichnisse /admin/ und /private/ nicht gecrawlt, alles andere bleibt zugänglich.
Das Grundprinzip: Die robots.txt steuert das Auffinden und Crawlen. Wenn du hier einen Crawler sperrst, kann er die Seite gar nicht aufrufen und deshalb auch keine Meta-Tags auf dieser Seite lesen.
Ebene 2: Meta-Robots-Tags und die Kontrolle nach dem Auffinden
Nachdem OAI-SearchBot deine Seite gecrawlt hat (sie also nicht in der robots.txt gesperrt war), sagen die Meta-Robots-Tags ihm, was er mit dem Inhalt tun soll.
Aufbau des Meta-Robots-Tags
<meta name="robots" content="directive1, directive2">
Wichtige Anweisungen für KI-Crawler
noindex: Diese Seite nicht indexieren und nicht in Zusammenfassungen aufnehmen. Der Crawler sieht die Seite, nutzt sie aber nicht.
nofollow: Links dieser Seite nicht folgen. Der Crawler kann die Seite sehen, crawlt aber die Links darin nicht.
noai: Diesen Inhalt nicht für das Training von KI-Modellen verwenden. Die Seite kann in Suchergebnissen erscheinen, aber OpenAI darf sie nicht zum Training von Sprachmodellen nutzen.
noimageai: Bilder dieser Seite nicht für das Training von Bildgenerierungsmodellen verwenden.
Beispiel
<meta name="robots" content="noindex">
Das sagt allen Crawlern (Google, Bing, ChatGPT und anderen), dass sie diese Seite nicht indexieren sollen. ChatGPT zitiert sie nicht, Google zeigt sie nicht an, und Bing nimmt sie nicht auf.
Speziell für OAI-SearchBot
<meta name="robots" content="noai">
Das sagt speziell OAI-SearchBot, dass er den Inhalt nicht für Training nutzen soll. Die Seite kann weiterhin in den Suchergebnissen von ChatGPT zitiert werden, aber OpenAI darf sie nicht für das Modelltraining verwenden.
Wichtige Regel: robots.txt und noindex nicht kombinieren
Das ist die wichtigste technische Regel. Mach das niemals:
User-agent: OAI-SearchBot
Disallow: /article/
Und setze zusätzlich auf der Artikelseite dies:
<meta name="robots" content="noindex">
Der Grund: Wenn du OAI-SearchBot per robots.txt den Zugriff auf /article/ sperrst, ruft der Crawler die Seite nie ab. Er liest das Meta-Tag nie. Die Anweisung noindex bleibt wirkungslos, weil der Crawler sie nie sieht. Ausserdem könnten manche Crawler die Seite trotzdem indexieren, wenn externe Websites auf sie verlinken, weil sie sie über Links entdeckt haben, obwohl deine robots.txt Nein sagt.
Die Regel: Nutze entweder die robots.txt ODER Meta-Tags, nicht beides für dieselbe Anweisung.
Bewährte Praxis: Nutze die robots.txt, um das Crawlen für die ganze Website zu steuern (ganze Bereiche erlauben oder sperren). Nutze Meta-Tags für die Kontrolle auf Seitenebene (einzelne Seiten mit besonderen Regeln).
Ebene 3: X-Robots-Tag-HTTP-Header
Wenn du das Verhalten von Crawlern für Inhalte steuern willst, die kein HTML sind (PDFs, Bilder und so weiter), oder Regeln für mehrere Seiten gleichzeitig setzen willst, ohne jede Seite zu bearbeiten, nutze den HTTP-Header X-Robots-Tag.
Beispiel:
X-Robots-Tag: noindex, nofollow
Er wird auf Serverebene gesetzt und sagt allen Crawlern, dass sie keine Seite indexieren und keinen Links folgen sollen, die mit diesem Header ausgeliefert wird.
Du kannst ihn gezielt einsetzen:
X-Robots-Tag: OAI-SearchBot: noai
Das sagt nur OAI-SearchBot, dass er deine Inhalte nicht für Training nutzen soll, während sie in der Suche erlaubt bleiben.
Strategische Entscheidungen: Was willst du eigentlich?
Deine Wahl hängt von deinem Ziel ab.
Ziel 1: So viele ChatGPT-Zitate wie möglich
In der robots.txt erlauben, keine noindex-Meta-Tags. OAI-SearchBot soll dich finden und zitieren.
User-agent: OAI-SearchBot
Allow: /
Keine einschränkenden Meta-Tags.
Ziel 2: In ChatGPT Search erscheinen, aber kein Modelltraining
In der robots.txt erlauben, das Meta-Tag noai nutzen.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Ziel 3: Vor ChatGPT verstecken, aber für andere Suchmaschinen sichtbar bleiben
OAI-SearchBot sperren, andere erlauben.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Ziel 4: Vor allen KI-Crawlern verstecken
Mehrere Bots sperren.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Das Compliance-Problem: Nicht alle KI-Crawler halten sich an die Regeln
Die unbequeme Wahrheit: Verschiedene KI-Crawler halten sich unterschiedlich gut an die Regeln.
Tests zeigen: ChatGPT beachtet die robots.txt und einige Meta-Tags. Perplexity beachtet beides zuverlässig. Bei anderen KI-Systemen ist das unterschiedlich. Manche ältere KI-Scraper ignorieren die robots.txt komplett.
Die Crawler von OpenAI kannst du gut steuern. Du kannst aber nicht jedes KI-System kontrollieren, das deine Inhalte abgreifen könnte.
So hilft dir WEMASY beim Verwalten des Crawler-Zugriffs
Der Website-Builder von WEMASY enthält einen robots.txt-Editor, in dem du die Rechte für OAI-SearchBot einstellst, ohne rohe Dateien zu bearbeiten. Meta-Robots-Tags kannst du über die SEO-Einstellungen für einzelne Seiten ergänzen. Der Builder ist mit bewährten Einstellungen vorkonfiguriert: OAI-SearchBot ist für die Sichtbarkeit in der Suche erlaubt, und du kannst noai ergänzen, wenn du kein Modelltraining möchtest. Mit den Crawl-Logs siehst du, welche Crawler auf deine Website zugreifen, und kannst die Rechte entsprechend anpassen. Mehr dazu unter den Crawler-Verwaltungs-Tools von WEMASY.
Häufig gestellte Fragen
Wenn ich OAI-SearchBot in der robots.txt sperre, können meine Inhalte trotzdem über Links in ChatGPT erscheinen?
Eher unwahrscheinlich. OAI-SearchBot ist der wichtigste Such-Crawler von ChatGPT. Ist er gesperrt, bist du in ChatGPT Search nicht präsent. Wenn aber ein anderes System auf deine Inhalte verlinkt, könnte ein anderer Crawler sie abrufen. Das lässt sich nicht vorhersagen. Mit dem Website-Builder von WEMASY richtest du das direkt auf deiner Website ein.
Was bewirkt das Meta-Tag noai eigentlich?
Es sagt OpenAI, dass es deine Inhalte nicht zum Training seiner Sprachmodelle nutzen soll. Deine Inhalte können weiterhin mit Quellenangabe in den Suchergebnissen von ChatGPT erscheinen. Ohne dieses Tag kann OpenAI deine Inhalte zum Training von ChatGPT und anderen Modellen verwenden.
Soll ich noindex nutzen, wenn ich nicht in ChatGPT erscheinen will?
Ja, aber du solltest wissen, was es bewirkt: noindex sagt allen Crawlern (Google, Bing, ChatGPT und anderen), dass sie die Seite nicht indexieren sollen. Nutze es, wenn du aus allen Suchergebnissen verschwinden willst. Wenn du dich nur vor ChatGPT verstecken, bei Google aber sichtbar bleiben willst, nutze noindex nicht. Sperre stattdessen OAI-SearchBot in der robots.txt.
Wie lange dauert es, bis Änderungen an robots.txt oder Meta-Tags wirken?
Änderungen an der robots.txt werden in der Regel innerhalb von 24 Stunden berücksichtigt. Änderungen an Meta-Tags gelten, sobald der Crawler die Seite das nächste Mal besucht. Zum sofortigen Testen kannst du das Test-Tool von OpenAI für Crawler oder die Webmaster-Tools von Bing nutzen.
Kann ich alle KI-Crawler sperren und Google erlauben?
Ja. Sperre in deiner robots.txt GPTBot, OAI-SearchBot, ChatGPT-User und andere KI-Bots und erlaube Googlebot und Bingbot. Das hindert aber KI-Systeme, die die robots.txt nicht beachten, nicht daran, auf deine Inhalte zuzugreifen.
Was passiert, wenn X-Robots-Tag und robots.txt sich für meinen Crawler widersprechen?
Die robots.txt wird zuerst geprüft. Sperrt sie einen Crawler, ruft er die Seite nicht ab und sieht den X-Robots-Tag nie. Erlaubt sie ihn, gelten die Anweisungen des X-Robots-Tags. Achte darauf, dass beide zusammenpassen.