Anbieter und Zugriffe
Suche, Nutzerabruf und Training werden je Anbieter unterschieden. Die Freigaben stehen beim jeweiligen Bot. Alle erhalten dieselben aktuellen Inhalte als HTML, Markdown und JSON.
Crawl-Freigaben begründen keine neue Nutzungslizenz. Interne Inhalte benötigen unabhängig von robots.txt serverseitigen Zugriffsschutz.
JSON-Profile · Diese Seite als JSON · Markdown · Bot-Regeln
ChatGPT / OpenAI
Suche, Nutzerabrufe und Trainingscrawler sind getrennt steuerbar.
- OAI-SearchBot · search · öffentliche Inhalte freigegeben. Suchindex für ChatGPT. IP-Verifikation
- ChatGPT-User · user_fetch · öffentliche Inhalte freigegeben. Nutzergesteuerte Abrufe; robots.txt ist dabei keine verlässliche Zugriffssperre. IP-Verifikation
- GPTBot · training · öffentliche Inhalte freigegeben. Trainingscrawler; öffentliche Crawl-Freigabe wie bisher. IP-Verifikation
Claude / Anthropic
Suchindexierung, Nutzerabrufe und Training haben eigene Bot-Kennungen.
- Claude-SearchBot · search · öffentliche Inhalte freigegeben. Crawler für Suchergebnisse. IP-Verifikation
- Claude-User · user_fetch · öffentliche Inhalte freigegeben. Abrufe im Auftrag von Nutzern. IP-Verifikation
- ClaudeBot · training · öffentliche Inhalte freigegeben. Trainingscrawler; öffentliche Crawl-Freigabe wie bisher. IP-Verifikation
Google / Gemini
Google-Extended ist ein robots.txt-Steuertoken ohne eigenen HTTP-User-Agent. Es betrifft Gemini-Training und bestimmte Grounding-Nutzungen, nicht die Aufnahme oder das Ranking in Google Search.
- Googlebot · search · öffentliche Inhalte freigegeben. Google-Suchindex einschließlich seiner KI-Suchfunktionen. IP-Verifikation
- Google-Extended · training, grounding · öffentliche Inhalte freigegeben. Gemeinsames Signal für Gemini-Training und die dokumentierten Grounding-Nutzungen. Kein separater HTTP-Abruf.
Perplexity
Die beiden dokumentierten Bots dienen laut Anbieter nicht dem Training von Basismodellen.
- PerplexityBot · search · öffentliche Inhalte freigegeben. Suchergebnisse und Quellenlinks. IP-Verifikation
- Perplexity-User · user_fetch · öffentliche Inhalte freigegeben. Nutzerabrufe; der Anbieter erklärt, dass robots.txt dabei üblicherweise nicht angewendet wird. IP-Verifikation
Prüfstatus
Bot-Kennungen lassen sich simulieren. Ein echter Anbieterabruf braucht Serverprotokolle und eine passende Anbieter-IP-Verifikation; eine Modellantwort benötigt eine eigene Inhaltsprüfung. Diese Profile behaupten keinen solchen Nachweis.
Fragen für die Antwortprüfung
- Wie lange dauert die Basis und wie viele Lernmodule hat sie?
- Welche Bausteine kombiniert ein Lehrgang?
- Welche Bücher sind veröffentlicht und welche nur angekündigt?