Dentro de la inminente guerra entre agentes de IA que redefinirá la economía de la web

Se está gestando una guerra en el mundo de los agentes de IA. Tras declarar hace un mes que bloquearía los scrapers de IA por defecto en su red, Cloudflare acusó abiertamente a Perplexity de eludir deliberadamente los estándares de internet para extraer contenido de sitios web. Publicó una detallada entrada de blog explicando cómo, incluso si sus bots estuvieran bloqueados, Perplexity utilizaría ciertas tácticas, incluyendo scrapers de terceros, para acceder a esos sitios web.

Perplexity respondió rápidamente con su propia publicación, señalando que su uso de scrapers de terceros era, en realidad, significativamente menor de lo que afirmaba Cloudflare. Pero el punto clave de la refutación de Perplexity fue que Cloudflare malinterpretó fundamentalmente la actividad de sus bots: dado que sus agentes actúan en nombre de solicitudes específicas de usuarios, y no rastreando la web en general, Perplexity cree que deberían poder acceder a todo lo que su operador humano pudiera.

Esta división afecta directamente al funcionamiento del internet de la IA, y establecer un estándar será crucial para la evolución de los agentes, la industria de los medios y la recuperación de información en general. Cabe destacar que Perplexity no negó que sus bots eludieran el Protocolo de Exclusión de Robots (conocido como robots.txt) para acceder al contenido; en cambio, afirmó que este comportamiento estaba justificado: si no se le negaría el contenido a una persona, también se debería proporcionar a un bot que actúe en su nombre.

En la web, nadie sabe que eres un bot

Hay algunos aspectos matizados pero importantes: Los bots agentes son diferentes de los bots de entrenamiento de IA o de los rastreadores de búsqueda. No extraen datos para entrenar modelos de IA ni para un índice de búsqueda general. Estos bots obtienen datos directamente en respuesta a la consulta de un usuario. Cuando, por ejemplo, le preguntas a un chatbot cuál es el horario de tu peluquero, este envía un bot a revisar el sitio web en ese mismo momento. Una vez entregados los datos, no se almacenan en una base de datos general, afirma Perplexity.

Como usuario de IA, la diferencia no es evidente. Cuando se solicita a un chatbot información específica, a menudo no queda claro qué partes de la respuesta se basan en datos de entrenamiento, indexación de búsqueda o actividad del agente. Simplemente se espera que funcione y que proporcione la mejor información disponible. Muchas veces, esto implica consultar en tiempo real con una fuente externa, una tendencia que apunta a un aumento en la actividad de los bots de IA a medida que todos comienzan a enviar agentes para que naveguen por ellos.

Para que la navegación web basada en agentes funcione, estos necesitarán tener el mismo tipo de acceso a la web que los humanos. El problema, como ya he mencionado, es que los agentes de IA no son humanos. Una persona que visita un sitio web puede verse atraída por publicidad, llamadas a la acción u otro contenido. Gran parte de la economía de la web depende de este hecho básico. Piensa en los resultados de búsqueda de Google: ¿Qué pasaría si se programara a los agentes para que simplemente ignoren todos los enlaces marcados como “Patrocinado”? Ahora, imagina si la mitad de las búsquedas web realizadas actualmente por humanos las realizaran agentes. ¿Crees que a Google le importaría?

Hasta hace muy poco, la web funcionaba con la atención humana. Pero eso ya está cambiando: gracias a la IA generativa, más de la mitad de la actividad web está automatizada, según Imperva, y sin duda aumentará ahora que han llegado agentes de consumo como el navegador Comet de Perplexity y el agente de ChatGPT.

La comodidad de la navegación con agentes de IA es revolucionaria: personalmente, llevo usando Comet menos de un mes y ahora es mi navegador predeterminado. Suelo pedirle a su Asistente integrado que realice tareas en segundo plano. Cuanto más lo uso, más difícil es negar que los agentes de IA serán el futuro de la web.

Eso sí, siempre y cuando puedan acceder. Y hay buenas razones para denegarles el acceso, especialmente si tu modelo de negocio depende de que las personas interactúen con tu contenido, es decir, toda la industria de los medios. El CEO de Cloudflare, Matthew Prince, al responder a la discusión sobre el problema en X, pareció afirmar que bloquear navegadores con IA como Comet es una opción, ya que difuminan aún más la línea entre agente y usuario.

Un internet dividido

La pregunta que nos obliga a responder el conflicto entre Perplexity y Cloudflare es: ¿Quién debería tener la última palabra sobre el acceso? ¿Debería un sitio web poder bloquear agentes de usuarios si lo desea? ¿O debería una persona poder enviar un agente en su nombre y esperar que este tenga el mismo nivel de acceso?

Mucho depende de la respuesta. Si los usuarios pueden usar agentes de IA como un proxy sin restricciones para su propia navegación, como defiende Perplexity, esto sin duda acelerará la transición hacia la internet de los bots, y los sitios web tendrán que lidiar con muchos menos visitantes humanos. Una suposición bastante razonable es que también conduciría a una gran expansión de los muros de pago rígidos, ya que los propietarios de sitios web buscan bloquear o monetizar el acceso.

Sin embargo, el equipo de Cloudflare preferiría que los sitios web pudieran bloquear agentes específicos, lo que bifurcaría la experiencia entre humanos y bots, y con ello la economía. Cobrar a los bots por acceder al contenido es un sector en rápido crecimiento, que impulsa a varias startups (como TollBit y ScalePost), así como el propio programa de pago por rastreo de Cloudflare. Aunque los agentes de usuario no son el único tipo de bot, podrían convertirse en la categoría más importante, especialmente si los navegadores con IA se popularizan.

Irónicamente, Perplexity podría tener el mejor modelo de negocio para afrontar este futuro. El Programa de Editores de Perplexity, que comparte los ingresos publicitarios con los socios de contenido, es más escalable que firmar acuerdos individuales con empresas de medios, como ha hecho OpenAI. El programa es incipiente, pero si Perplexity pudiera ponerlo a disposición de cualquier creador de contenido y ofrecerlo en modo autoservicio (similar al Programa de Socios de YouTube), quizás podría sentar las bases para monetizar la actividad de los agentes.

De cualquier manera, la economía de la web se transformará. Vemos que el futuro son los agentes, pero cómo los ve el futuro es una pregunta que necesita respuesta. Y para los medios, podría ser incluso la más importante.