Es sind drei verschiedene Sorten Programme, nicht eine
„Die KI" ist keine einzelne Sache, die deine Seite besucht. Jeder Anbieter schickt mehrere Programme los, und die haben verschiedene Aufgaben. Wer das nicht trennt, trifft die falsche Entscheidung — meistens genau die, die weh tut.
- Training. Sammelt Texte, aus denen künftige Modelle lernen. Das ist der Teil, bei dem es ums Urheberrecht geht.
- Suche. Baut den Index, aus dem die Antwortmaschine ihre Quellen zieht und verlinkt. Das ist der Teil, bei dem es um dich als Treffer geht.
- Abruf durch einen Nutzer. Jemand stellt gerade eine Frage, und das Programm holt in diesem Moment deine Seite. Kein Index, kein Training — ein einzelner Besuch, ausgelöst von einem Menschen.
Hier sind die Programme, die die vier großen Anbieter selbst dokumentieren — Stand 9. September 2026, nachgelesen in ihren eigenen Unterlagen:[1][2][3][4]
| Programm | Anbieter | Aufgabe | Hält sich an robots.txt? |
|---|---|---|---|
OAI-SearchBot | OpenAI | Suche in ChatGPT | Ja |
GPTBot | OpenAI | Training | Ja |
ChatGPT-User | OpenAI | Abruf durch einen Nutzer | Eingeschränkt |
Claude-SearchBot | Anthropic | Suche | Ja |
ClaudeBot | Anthropic | Training | Ja |
Claude-User | Anthropic | Abruf durch einen Nutzer | Eingeschränkt |
PerplexityBot | Perplexity | Suche | Ja |
Perplexity-User | Perplexity | Abruf durch einen Nutzer | Nein |
Googlebot | Suche, einschließlich KI-Übersichten | Ja | |
Google-Extended | Training und Antwortgrundlage für Gemini | Ja |
Der teure Denkfehler: „KI aussperren" sperrt die Antwort mit aus
Die häufigste robots.txt, die uns bei Bestandsaufnahmen begegnet, ist von irgendwoher kopiert und sperrt alles, was nach KI klingt — GPTBot und OAI-SearchBot in einem Aufwasch. Das Ergebnis: Der Betrieb wird nicht fürs Training genutzt (was er wollte) und taucht in ChatGPT-Antworten nicht mehr auf (was er nicht wollte und meist nicht weiß).
OpenAI schreibt das selbst in die eigene Dokumentation, und zwar so deutlich, dass man es nicht missverstehen kann:
„Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models."[1]
Anthropic und Perplexity trennen genauso. Perplexity schreibt über seinen Suchbot ausdrücklich: „It is not used to crawl content for AI foundation models."[3] Wer alles sperrt, sperrt also nicht „die KI" aus, sondern verzichtet auf die Verlinkung und behält den Rest, den er sowieso nicht kontrolliert.
Was passiert, wenn du nichts tust: In den allermeisten Fällen — nichts Schlimmes. Ohne Regeln in der robots.txt ist alles erlaubt, du bist auffindbar, und dein Text darf fürs Training verwendet werden. Das ist eine legitime Entscheidung. Sie sollte nur eine sein und kein Versehen.
Was passiert, wenn du blind alles sperrst: Du verschwindest aus den Antworten, in denen dein Wettbewerb steht — ohne dass es dir jemand meldet. Es gibt für KI-Antworten keine Search Console.
Was robots.txt kann — und was sie ausdrücklich nicht kann
Eine robots.txt ist kein Schloss. Sie ist ein Schild. Wer sich daran hält, tut das freiwillig, und die Anbieter sagen offen, wo sie sich nicht daran halten. Für den Fall „ein Mensch hat gerade gefragt" schreibt OpenAI:
„Because these actions are initiated by a user, robots.txt rules may not apply."[1]
Perplexity wird noch deutlicher: „Since a user requested the fetch, this fetcher generally ignores robots.txt rules."[3] Die Logik dahinter ist dieselbe wie beim Browser: Wenn ein Mensch eine Adresse aufruft, ist das kein Crawling. Praktisch heißt das: Was du nicht öffentlich stehen haben willst, gehört nicht ins öffentliche Netz. Nicht hinter eine robots.txt, sondern hinter ein Passwort.
Google ist ein Sonderfall — und zwar in beide Richtungen
Bei Google hängen Suche und KI enger zusammen als bei allen anderen. Zwei Sätze aus Googles eigener Dokumentation räumen dabei zwei verbreitete Irrtümer ab.
Erstens: Wer Google-Extended sperrt, verliert dadurch keine Sichtbarkeit in der Suche. Google schreibt: „Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search."[4] Gesperrt wird damit das Training und die Antwortgrundlage für Gemini — nicht dein Platz im Suchergebnis.
Zweitens: Die KI-Übersichten in der Suche hängen nicht an Google-Extended, sondern an den normalen Snippet-Regeln. Google verweist dafür auf nosnippet, data-nosnippet, max-snippet und noindex.[5] Wer aus den KI-Übersichten heraus will, muss also am Textausschnitt drehen — und verliert damit auch den Vorschautext im normalen Treffer. Das ist ein echter Zielkonflikt, keine Einstellung.
Und der dritte Satz, der die halbe Beratungsbranche entwertet: „You don't need to create new machine readable files, AI text files, or markup to appear in these features."[5] Es gibt bei Google keine Extra-Datei, die dich in die KI-Antwort hebt. Mehr dazu im Beitrag über llms.txt.
Prüf deine eigene robots.txt — hier, sofort
Ruf https://deinedomain.de/robots.txt im Browser auf, kopier den Inhalt und wirf ihn hier rein. Nichts davon verlässt deinen Browser — der Prüfer rechnet auf deinem Gerät.
robots.txt-Prüfer · Stand 09.09.2026
Welche Antwortmaschine darf deine Seite lesen?
Die Datei liegt immer unter /robots.txt deiner Domain. Gibt es dort nichts, ist alles erlaubt — such dann in der Liste unten nach der Zeile „keine Datei".
Noch nichts eingefügt.
| Programm | Aufgabe | Ergebnis |
|---|
Wie der Prüfer rechnet — und wo er bewusst vereinfacht
Der Prüfer liest die Datei so, wie es das Robots-Exclusion-Protokoll vorsieht: Er sucht die Gruppe, deren User-agent auf den Namen des Programms passt, und nimmt nur diese. Gibt es keine passende, gilt die Gruppe *. Gibt es auch die nicht, ist alles erlaubt.
Geprüft wird eine einzige Frage: Darf die Startseite / geholt werden? Disallow: / heißt nein, Allow: / und ein leeres Disallow: heißen ja. Einzelne gesperrte Verzeichnisse zählt der Prüfer nicht mit — wer /intern/ sperrt, sieht hier trotzdem „erlaubt", und das ist richtig so.
Die Spalte „Ergebnis" beschreibt die Folge, nicht die Absicht. Bei ChatGPT-User, Claude-User und Perplexity-User steht deshalb ein Hinweis statt eines Urteils: Diese Abrufe löst ein Mensch aus, und die Anbieter sagen selbst, dass ihre Sperrregeln dort nicht oder nur eingeschränkt greifen.