Cómo Cloudflare declaró la guerra a los scrapers de IA

Cloudflare respalda más del 20% del tráfico total de internet. Recientemente, la empresa fue noticia por una tecnología innovadora que bloquea a las compañías de inteligencia artificial que extraen contenido en línea con total impunidad. El cofundador y CEO, Matthew Prince, comparte cómo estas nuevas herramientas están listas para impactar de forma significativa a las empresas de IA, a los medios y al futuro de internet.

Esta es una transcripción abreviada de una entrevista de Rapid Response, presentada por Robert Safian, exeditor jefe de Fast Company. Del equipo responsable del podcast Masters of Scale, Rapid Response presenta conversaciones sinceras con los principales líderes empresariales de la actualidad que enfrentan desafíos en tiempo real. Suscríbete a Rapid Response dondequiera que escuches tus podcasts para asegurarte de no perderte ningún episodio.

Lanzaron una nueva herramienta que ha generado mucho revuelo: un bloqueador para los scrapers de IA, esos bots que extraen contenido de los sitios web sin consentimiento. Has dicho que esta nueva herramienta es “lo más grande” que tú o la empresa han logrado hasta ahora.

Sí. Me siento increíblemente afortunado de haber construido lo que hoy es una empresa de 60,000 millones de dólares gracias a internet. Y hace unos 18 meses nos dimos cuenta de una nueva amenaza para internet, para los creadores de contenido, que representaban estas empresas de IA. Cuando nos dimos cuenta de que podíamos hacer algo al respecto, pasamos casi un año hablando con todos los que trabajan en el ámbito de la creación de contenido y la IA… Vamos a cambiar las reglas del juego y a decir que, si no pagas por el contenido como empresa de IA, no lo consigues.

Hoy es casi 10 veces más difícil obtener tráfico real de Google para la misma cantidad de contenido creado. En cuanto se muestra una descripción general de la IA, es menos probable que la gente haga clic en los enlaces. Y, de nuevo, eso es mejor para el usuario de Google, pero es peor para el creador de contenido, porque significa que no se puede vender una suscripción, no se pueden vender anuncios, y ni siquiera se puede obtener el impulso de saber que la gente está leyendo tu contenido.

Actualmente, conseguir tráfico de OpenAI es 750 veces más difícil que con el antiguo Google. Conseguir tráfico de Anthropic es 30,000 veces más difícil que con el antiguo Google. Por lo tanto, si la creación de contenido tiene dificultades hoy en día, cuando es 10 veces más difícil, me preocupa que no sobreviva si es 750 o 30.000 veces más difícil leer contenido original… Y si la gente no tiene el incentivo para crear contenido, no lo creará. Por lo tanto, es necesario un modelo de negocio que respalde el futuro de la web, y este no se centrará en el tráfico, porque una web impulsada por IA no genera tráfico.

Y lo irónico es que la propia IA necesita el contenido para poder generar esas respuestas. Ahora bien, quién sabe de dónde obtendrán sus respuestas.

Esa es la clave: 80% de las principales empresas de IA utilizan Cloudflare en su infraestructura. Lo que todos han dicho, con algunas excepciones, es: “Estamos de acuerdo, los creadores de contenido deben cobrar por su contenido, pero debe haber igualdad de condiciones”. Nadie quiere pagar por contenido que sus competidores obtienen gratis. Por lo tanto, crear igualdad de condiciones es fundamental.

Tan solo Anthropic extraerá contenido de un sitio web 60,000 veces por cada visitante. Alguien tiene que pagar por ese tráfico. Desde una perspectiva de equidad, deberían compensar a los creadores de los que extraen ese contenido.

Empezamos como una empresa de ciberseguridad. Nos enfrentamos a diario a hackers rusos, iraníes, norcoreanos y chinos que intentan acceder a nuestros sistemas y frustrarlos. Así que cuando empezamos a hablar con los editores sobre esto, era casi una especie de nihilismo: “¡Dios mío! ¿Qué vamos a hacer? No hay manera de detenerlo. Estos tipos son tan listos, son un grupo de nerds de Palo Alto… Ni siquiera podemos bloquearlos”. Y recuerdo que pensé: “Bloqueamos a los norcoreanos todos los días. Las empresas de IA son pan comido”.

Antes de lanzar la primera versión de esta herramienta, ¿les avisaron a las empresas de IA?

Creo que hay algunos actores maliciosos por ahí, y creo que a algunos les sorprenderá saber quiénes son. Los estamos monitoreando, y muy pronto publicaremos y denunciaremos a los verdaderos actores maliciosos en este ámbito. Y pasaremos de lo que ha sido básicamente colocar una señal de límite de velocidad que dice “No conduzca a más de 88 kilómetros por hora” a algo mucho más estricto. Diremos: “Escucha, te quitamos el coche, ya no puedes circular por la carretera”.

Tengo entendido que están explorando una especie de modelo de pago por rastreo con algunos editores de contenido, lo cual me suena un poco como un peaje en la autopista: tienes que pagar un peaje si quieres pasar.

Si estás generando un costo enorme al rastrear o extraer el contenido de alguien, pero no les estás dando ningún beneficio, entonces el primer paso es bloquearlos. Una vez que has creado escasez, entonces puede existir un mercado, ¿no?

Tiene que haber alguna compensación por aceptar contenido, y ya no será tráfico, sino algo más. Ahora la pregunta es: “¿Cómo se paga?”. Y creo que, muchas veces, las grandes empresas de IA y las grandes editoriales simplemente negocian los acuerdos entre sí. Por ejemplo, si eres Condé Nast, firmas un acuerdo con OpenAI, o con Google, o cualquier otra empresa, y lo negocias tú mismo. No tenemos ningún papel en eso. Creo que para las empresas de IA más pequeñas, o para las editoriales más grandes, Cloudflare podría, con suerte, intervenir y ayudar a negociar el mejor acuerdo. Y aún no sabemos exactamente cómo será. Podría ser un micropago cada vez que se acceda a una página. Podría ser algo más parecido al modelo de Spotify, donde hay un fondo común que se distribuye a todos los diferentes proveedores de contenido… Eso se desarrollará, pero el primer paso en cualquier mercado debe ser la escasez. Si no hay escasez, no hay mercado.

De hecho, soy optimista y creo que todos tendremos suscripciones a un cierto número de agentes de IA disponibles. Y la forma en que las empresas de IA se diferenciarán será el acceso a contenido único que poseen y que solo ellas poseen.

Imaginen que Taylor Swift está a punto de lanzar un nuevo álbum y concede una entrevista a unos periodistas, quienes están dispuestos a concederla en exclusiva a una empresa de IA durante una semana. ¿Cuánto vale eso? Probablemente bastante, ¿verdad? Mucha gente se inscribirá. Por lo tanto, soy optimista y creo que podríamos estar al borde de una era dorada en la creación de contenido.

Si lo hacemos bien y obtenemos los incentivos adecuados, podría ser que en lugar de que todos adoremos a la deidad que Google nos enseñó a adorar, que es el tráfico, que siempre ha sido un muy mal indicador de valor, si en cambio encontramos una forma de compensar a los creadores en función de cuándo realmente crean algo que vale la pena y hace avanzar el conocimiento humano, realmente podemos hacer un bien real en el mundo, al mismo tiempo que ayudamos a los creadores de contenido a cobrar más.