Cloudflare quiere acabar con el dilema entre aparecer en búsquedas y entrenar a la IA

Una nueva configuración permite que los sitios sigan siendo encontrados por buscadores sin aceptar automáticamente que su contenido se utilice para entrenar modelos de inteligencia artificial. Durante décadas, el acuerdo implícito de internet parecía sencillo: un buscador rastreaba tu sitio y, a cambio, enviaba tráfico.

La inteligencia artificial rompió ese intercambio. Ahora un mismo rastreador puede utilizar contenido para crear un índice de búsqueda y, al mismo tiempo, recopilar información para entrenar modelos. Para medios, empresas y creadores, eso generó un dilema: permitir el acceso o arriesgarse a perder visibilidad.

Cloudflare quiere separar ambas decisiones. La compañía presentó Disallow AI Training, una nueva configuración que permite rechazar el entrenamiento de inteligencia artificial sin desaparecer de los resultados de búsqueda.

Es una evolución particularmente relevante en un momento en que la relación entre contenido y empresas de inteligencia artificial obliga a editores y propietarios de sitios a decidir no solamente quién puede encontrar sus páginas, sino también qué puede hacer con ellas.

Buscar no tiene que significar entrenar

Los llamados mixed-use crawlers, o rastreadores de uso mixto, realizan ambas funciones. Según Cloudflare, menos de 1% de los sitios de su red bloquea rastreadores de búsqueda, pero 17% ya utiliza algún mecanismo para impedir el entrenamiento de IA.

Hasta ahora, cuando búsqueda y entrenamiento dependían del mismo crawler, impedir una actividad podía bloquear también la otra. La nueva configuración Disallow AI Training busca romper esa relación: el sitio puede seguir indexado mientras indica que su contenido no debe utilizarse para entrenamiento.

Cloudflare también creó una categoría denominada Accountable para identificar operadores de rastreadores que ofrecen, o se comprometen a ofrecer, controles específicos sobre el uso del contenido.

Apple, Google y Microsoft cumplen o han asumido compromisos con los criterios establecidos por Cloudflare. Entre ellos se encuentran permitir que los propietarios excluyan su contenido del entrenamiento, ofrecer controles sobre resúmenes generados por IA y garantizar que rechazar el entrenamiento no perjudique la clasificación en búsquedas tradicionales.

Tres decisiones diferentes: búsqueda, entrenamiento y agentes

Cloudflare reemplaza además su antiguo control general “Block AI Bots” con opciones separadas para Search, Training y Agent. Eso importa porque no todos los bots hacen lo mismo. Un crawler puede construir un índice. Otro puede recopilar datos para entrenar un modelo. Un tercero puede entrar a un sitio en tiempo real porque un usuario pidió a un agente de IA realizar una tarea.

La compañía también reemplaza Managed Robots.txt con Bot Preference Sync, que permite establecer preferencias y aplicarlas automáticamente a rastreadores compatibles.

Las nuevas políticas de bots de Cloudflare permiten incluso diferenciar su comportamiento según el tipo de sitio. En páginas financiadas con publicidad, por ejemplo, las configuraciones recomendadas mantienen activa la búsqueda, deshabilitan el entrenamiento y restringen agentes en páginas que muestran anuncios.

La discusión forma parte de un cambio más grande. Los bots se están convirtiendo en una parte de la audiencia de los medios, y el valor de una página ya no depende únicamente de que una persona haga clic en ella.

También puede convertirse en materia prima para una respuesta, un resumen, un agente o un futuro modelo. El problema para la web será decidir cuándo eso representa distribución y cuándo representa explotación del contenido. Cloudflare está intentando que, al menos, esas dos cosas ya no vengan incluidas en el mismo botón.