Die robots.txt steuert in erster Linie das Crawling, aber für die Nutzung von Inhalten in Suchmaschinen oder KI-Systemen spielen auch Meta-Tags und HTTP-Header eine Rolle. Einige Anbieter führten eigene Meta-Tags oder Header ein, um gezielt die Nutzung für KI zu steuern. Diese neuen Tags sind noch kein offizieller Standard und können nur als Signal verstanden werden. Es ist also Vorsicht geboten.
-
Google-Extended (für Gemini/Bard Training):
-
Steuerung über robots.txt (
User-agent: Google-Extended) -
Kein eigener Meta-Tag, Stand 2025.
-
-
OpenAI GPTBot:
-
Steuerung ebenfalls über robots.txt (
User-agent: GPTBot). -
Kein offizieller Meta-Tag.
-
-
Perplexity, Anthropic Claude, CCBot usw.:
-
Bisher nur über robots.txt.
-
-
Experimente mit neuen Standards (KI-spezifische Robots-Header):
Es gibt Bestrebungen wie z. B.X-Robots-Tag: noaioderX-Robots-Tag: nocache, aber noch keinen universellen Standard, der von allen KI-Anbietern akzeptiert wird.