OpenAI, Google, Microsoft et Anthropic adoptent un refus unifié du scraping IA
Quatre grandes entreprises d'IA soutiendront un signal robots.txt commun qui permet aux éditeurs de bloquer les robots de scraping IA en une seule étape, rationalisant un processus de refus auparavant fragmenté.
OpenAI, Google, Microsoft et Anthropic ont accepté d'adopter une nouvelle norme commune qui permet aux éditeurs de sites Web de refuser que leur contenu soit extrait pour l'entraînement de l'IA auprès de plusieurs entreprises à la fois. Cette initiative, rapportée plus tôt par Search Engine Roundtable, répond à une frustration croissante des éditeurs qui doivent actuellement définir des préférences distinctes pour le robot d'exploration de chaque entreprise d'IA. Meta a également signalé un soutien de principe à cette idée.
Le nouveau mécanisme est un jeton de politique proposé par Kevin Kelley, responsable technique des normes chez Anthropic, dans le cadre de l'Internet Engineering Task Force (IETF). Il s'intègre dans le fichier robots.txt d'un site Web, le protocole de longue date qui indique aux robots d'exploration les parties d'un site qu'ils peuvent ou non consulter. Jusqu'à présent, les éditeurs devaient lister individuellement le robot de chaque entreprise d'IA—par exemple, bloquer GPTBot d'OpenAI, Google-Extended de Google et ClaudeBot d'Anthropic un par un. Le jeton commun leur permet d'exprimer une préférence unique que toutes les entreprises d'IA participantes honoreront.
Un signal unique pour plusieurs robots d'IA
La norme est conçue pour simplifier le processus de refus pour les éditeurs qui souhaitent exclure leur contenu des ensembles de données d'entraînement de l'IA. Au lieu de maintenir des règles séparées pour chaque entreprise, un site Web peut inclure le jeton commun dans son fichier robots.txt, et toute entreprise d'IA qui prend en charge la norme restreindra son robot en conséquence. Le jeton n'affecte pas l'indexation de recherche ; les sites peuvent toujours apparaître dans les résultats de recherche même s'ils bloquent l'utilisation pour l'entraînement de l'IA.
Microsoft indique qu'il offrira des contrôles granulaires permettant aux éditeurs de distinguer le refus de l'entraînement de l'IA du refus de l'ancrage de l'IA—la pratique qui consiste à pointer un modèle d'IA vers une source vérifiée pour réduire les hallucinations. Google a déjà introduit des contrôles similaires permettant aux sites de gérer si leur contenu apparaît dans les fonctionnalités de recherche IA ou est utilisé pour l'entraînement, sans affecter la visibilité dans la recherche standard. Anthropic a déjà mis en œuvre le nouveau signal, tandis que Google et Microsoft prévoient de le prendre en charge l'année prochaine. OpenAI indique qu'il le mettra en œuvre dans les mois à venir.
Soutien de l'industrie et calendrier
Cette annonce intervient alors que les éditeurs luttent contre une marée montante de robots d'IA qui récoltent du contenu pour l'entraînement de modèles, souvent sans permission explicite. Certaines organisations ont essayé d'autres approches : la norme Really Simple Licensing (RSL) permet aux éditeurs de facturer l'accès aux robots, et Cloudflare a commencé à bloquer les robots d'IA par défaut. Le nouveau jeton commun offre une alternative légère et standardisée qui fonctionne à travers plusieurs fournisseurs.
Le responsable des communications de Meta, Andy Stone, a exprimé son soutien au concept mais n'a pas confirmé si Meta honorera le jeton. « Nous croyons que créer un signal commun qui transmet de telles préférences à plusieurs fournisseurs à la fois est une étape importante », a déclaré Stone. « Et nous nous réjouissons de travailler avec d'autres entreprises d'IA sur les normes et leur mise en œuvre à travers l'industrie. »
Ce que cela signifie pour les éditeurs et les entreprises d'IA
Pour les éditeurs, le jeton commun réduit la charge administrative et offre un moyen plus clair et plus cohérent d'affirmer le contrôle sur leur contenu. Pour les entreprises d'IA, l'adoption d'une norme commune pourrait aider à apaiser les tensions avec les créateurs de contenu et éviter les litiges juridiques concernant le scraping non autorisé. Cette initiative reflète également une poussée plus large de l'industrie vers des pratiques de données plus transparentes et basées sur le consentement.
La norme est encore en cours de développement au sein de l'IETF, et son efficacité dépendra d'une adoption généralisée. Bien que les quatre grandes entreprises d'IA se soient engagées, d'autres acteurs—y compris les petites startups d'IA et les moteurs de recherche—n'ont pas encore annoncé leur soutien. Néanmoins, la coordination entre les principales entreprises marque une étape significative vers une approche plus unifiée de la collecte de données pour l'IA, offrant aux éditeurs un outil pratique pour protéger leur travail dans un Web de plus en plus axé sur l'IA.
