OpenAI, Google, Microsoft und Anthropic einigen sich auf einheitlichen AI-Opt-out
Vier große KI-Unternehmen unterstützen ein gemeinsames robots.txt-Signal, mit dem Publisher KI-Trainings-Crawler in einem Schritt blockieren können – das vereinfacht den bisher fragmentierten Opt-out-Prozess.
OpenAI, Google, Microsoft und Anthropic haben sich darauf geeinigt, einen neuen gemeinsamen Standard einzuführen, der es Website-Betreibern ermöglicht, das Scraping ihrer Inhalte für KI-Training bei mehreren Unternehmen gleichzeitig zu unterbinden. Der Schritt, über den zuvor Search Engine Roundtable berichtete, adressiert die wachsende Frustration von Publishern, die derzeit für jeden KI-Crawler separate Einstellungen vornehmen müssen. Auch Meta hat seine grundsätzliche Unterstützung für die Idee signalisiert.
Der neue Mechanismus ist ein Policy-Token, der von Kevin Kelley, technischer Leiter für Standards bei Anthropic, im Rahmen der Internet Engineering Task Force (IETF) vorgeschlagen wurde. Er wird in der robots.txt-Datei einer Website platziert, dem seit langem etablierten Protokoll, das Web-Crawlern mitteilt, welche Teile einer Site sie abrufen dürfen und welche nicht. Bisher mussten Publisher jeden KI-Crawler einzeln auflisten – etwa GPTBot von OpenAI, Google-Extended von Google und ClaudeBot von Anthropic nacheinander blockieren. Der gemeinsame Token erlaubt es ihnen, eine einzige Präferenz auszudrücken, die alle teilnehmenden KI-Unternehmen respektieren.
Ein einziges Signal für mehrere KI-Crawler
Der Standard soll den Opt-out-Prozess für Publisher vereinfachen, die ihre Inhalte aus KI-Trainingsdatensätzen heraushalten möchten. Statt für jedes Unternehmen separate Regeln zu pflegen, kann eine Website den gemeinsamen Token in ihre robots.txt-Datei aufnehmen, und jedes KI-Unternehmen, das den Standard unterstützt, wird seinen Crawler entsprechend einschränken. Der Token hat keinen Einfluss auf die Suchindexierung; Websites können weiterhin in Suchergebnissen erscheinen, auch wenn sie die KI-Nutzung blockieren.
Microsoft kündigt an, granulare Steuerungsmöglichkeiten anzubieten, mit denen Publisher zwischen dem Opt-out für KI-Training und dem Opt-out für KI-Grounding unterscheiden können – also der Praxis, ein KI-Modell auf eine verifizierte Quelle zu verweisen, um Halluzinationen zu reduzieren. Google hat bereits ähnliche Kontrollen eingeführt, die es Websites ermöglichen, zu verwalten, ob ihre Inhalte in KI-Suchfunktionen erscheinen oder für das Training verwendet werden, ohne die Sichtbarkeit in der normalen Suche zu beeinträchtigen. Anthropic hat das neue Signal bereits implementiert, während Google und Microsoft planen, es im nächsten Jahr zu unterstützen. OpenAI kündigt an, es in den kommenden Monaten umzusetzen.
Branchenunterstützung und Zeitplan
Die Ankündigung kommt zu einem Zeitpunkt, an dem Publisher mit einer wachsenden Flut von KI-Crawlern kämpfen, die Inhalte für das Modelltraining oft ohne ausdrückliche Erlaubnis ernten. Einige Organisationen haben andere Ansätze ausprobiert: Der Standard Really Simple Licensing (RSL) ermöglicht es Publishern, für den Zugriff von Crawlern Gebühren zu erheben, und Cloudflare hat begonnen, KI-Crawler standardmäßig zu blockieren. Der neue gemeinsame Token bietet eine leichtere, standardisierte Alternative, die über mehrere Anbieter hinweg funktioniert.
Metas Kommunikationschef Andy Stone unterstützte das Konzept, bestätigte jedoch nicht, ob Meta den Token respektieren wird. „Wir glauben, dass die Schaffung eines gemeinsamen Signals, das solche Präferenzen mehreren Anbietern gleichzeitig übermittelt, ein wichtiger Schritt ist“, sagte Stone. „Und wir freuen uns darauf, mit anderen KI-Unternehmen an den Standards und ihrer Umsetzung in der gesamten Branche zu arbeiten.“
Was das für Publisher und KI-Unternehmen bedeutet
Für Publisher reduziert der gemeinsame Token den Verwaltungsaufwand und bietet eine klarere, konsistentere Möglichkeit, die Kontrolle über ihre Inhalte auszuüben. Für KI-Unternehmen könnte die Einführung eines gemeinsamen Standards dazu beitragen, Spannungen mit Content-Erstellern abzubauen und Rechtsstreitigkeiten über nicht autorisiertes Scraping zu vermeiden. Der Schritt spiegelt auch einen breiteren Branchentrend hin zu transparenteren und zustimmungsbasierten Datenpraktiken wider.
Der Standard befindet sich noch in der Entwicklung innerhalb der IETF, und seine Wirksamkeit wird von einer breiten Akzeptanz abhängen. Während sich die vier großen KI-Unternehmen verpflichtet haben, haben andere Akteure – darunter kleinere KI-Startups und Suchmaschinen – noch keine Unterstützung angekündigt. Dennoch markiert die Koordination unter den führenden Unternehmen einen bedeutenden Schritt hin zu einem einheitlicheren Ansatz bei der KI-Datenerfassung und gibt Publishern ein praktisches Werkzeug, um ihre Arbeit in einem zunehmend KI-getriebenen Web zu schützen.
