OpenAI, Google, Microsoft y Anthropic unifican el protocolo para excluir sus rastreadores de IA
Cuatro grandes empresas de IA adoptarán una señal común en robots.txt que permite a los editores bloquear en un solo paso los rastreadores de entrenamiento de IA, simplificando un proceso antes fragmentado.
OpenAI, Google, Microsoft y Anthropic han acordado adoptar un nuevo estándar compartido que permite a los editores de sitios web excluir su contenido del scraping destinado al entrenamiento de IA en múltiples empresas a la vez. La medida, reportada previamente por Search Engine Roundtable, aborda la creciente frustración de los editores, que actualmente deben configurar preferencias separadas para el rastreador de cada empresa de IA. Meta también ha mostrado un apoyo tentativo a la idea.
El nuevo mecanismo es un token de política propuesto por Kevin Kelley, líder técnico de estándares en Anthropic, como parte del Grupo de Trabajo de Ingeniería de Internet (IETF, por sus siglas en inglés). Se integra en el archivo robots.txt del sitio web, el protocolo de larga data que indica a los rastreadores web qué partes de un sitio pueden o no acceder. Hasta ahora, los editores debían listar individualmente el rastreador de cada empresa de IA —por ejemplo, bloquear el GPTBot de OpenAI, el Google-Extended de Google y el ClaudeBot de Anthropic uno por uno. El token compartido les permite expresar una única preferencia que todas las empresas participantes respetarán.
Una única señal para múltiples rastreadores de IA
El estándar está diseñado para simplificar el proceso de exclusión para los editores que desean mantener su contenido fuera de los conjuntos de datos de entrenamiento de IA. En lugar de mantener reglas separadas para cada empresa, un sitio web puede incluir el token compartido en su archivo robots.txt, y cualquier empresa de IA que adopte el estándar restringirá su rastreador en consecuencia. El token no afecta la indexación de búsqueda; los sitios pueden seguir apareciendo en los resultados de búsqueda incluso si bloquean el uso para entrenamiento de IA.
Microsoft afirma que ofrecerá controles granulares que permitan a los editores distinguir entre excluirse del entrenamiento de IA y excluirse de la fundamentación de IA —la práctica de señalar a un modelo de IA una fuente verificada para reducir alucinaciones. Google ya ha introducido controles similares que permiten a los sitios gestionar si su contenido aparece en las funciones de búsqueda con IA o se utiliza para entrenamiento, sin afectar su visibilidad en la búsqueda estándar. Anthropic ya ha implementado la nueva señal, mientras que Google y Microsoft planean adoptarla el próximo año. OpenAI afirma que la implementará en los próximos meses.
Apoyo del sector y cronograma
El anuncio llega en un momento en que los editores luchan contra una creciente ola de rastreadores de IA que extraen contenido para entrenar modelos, a menudo sin permiso explícito. Algunas organizaciones han probado otros enfoques: el estándar Really Simple Licensing (RSL) permite a los editores cobrar a los rastreadores por el acceso, y Cloudflare ha comenzado a bloquear rastreadores de IA por defecto. El nuevo token compartido ofrece una alternativa estandarizada y más ligera que funciona entre múltiples proveedores.
Andy Stone, responsable de comunicaciones de Meta, expresó su apoyo al concepto pero no confirmó si Meta respetará el token. "Creemos que crear una señal común que transmita estas preferencias a múltiples proveedores a la vez es un paso importante", dijo Stone. "Y esperamos trabajar con otras empresas de IA en los estándares y su implementación en toda la industria".
Qué significa para editores y empresas de IA
Para los editores, el token compartido reduce la carga administrativa y proporciona una forma más clara y consistente de ejercer control sobre su contenido. Para las empresas de IA, adoptar un estándar común podría ayudar a aliviar las tensiones con los creadores de contenido y evitar disputas legales por scraping no autorizado. La medida también refleja un impulso más amplio de la industria hacia prácticas de datos más transparentes y basadas en el consentimiento.
El estándar aún está en desarrollo dentro del IETF, y su efectividad dependerá de una adopción generalizada. Si bien las cuatro grandes empresas de IA se han comprometido, otros actores —incluidas startups de IA más pequeñas y motores de búsqueda— aún no han anunciado su apoyo. No obstante, la coordinación entre las principales empresas marca un paso significativo hacia un enfoque más unificado para la recopilación de datos de IA, brindando a los editores una herramienta práctica para proteger su trabajo en una web cada vez más impulsada por la IA.
