¿El ascenso meteórico de la inteligencia artificial empieza a desacelerarse?

Hay una creencia que crece silenciosamente en Silicon Valley que podría tener implicaciones inmensas: los avances de los grandes modelos de inteligencia artificial, aquellos que se espera que logren un nivel de inteligencia similar al humano en un futuro cercano, podrían estar ralentizándose.

Desde el lanzamiento frenético de ChatGPT hace dos años, los entusiastas de la inteligencia artificial han sostenido que las mejoras en la IA generativa se acelerarían de manera exponencial a medida que los gigantes tecnológicos continuaran invirtiendo grandes recursos en datos de entrenamiento y potencia computacional.

La lógica era que cumplir con la promesa de esta tecnología era simplemente cuestión de recursos: invertir suficiente poder de cómputo y datos permitiría que surgiera la inteligencia general artificial (AGI, por sus siglas en inglés), capaz de igualar o superar el desempeño humano.

El progreso avanzaba a tal ritmo que figuras líderes de la industria, incluido Elon Musk, pidieron una moratoria en la investigación y desarrollo de la IA. Sin embargo, las grandes empresas tecnológicas, incluidas las de Musk, continuaron avanzando, gastando decenas de miles de millones de dólares para no quedarse atrás.

El progreso de la inteligencia artificial parece estar estancado, pese a grandes inversiones

OpenAI, la creadora de ChatGPT respaldada por Microsoft, recientemente recaudó 6,600 millones de dólares (mdd) para financiar avances futuros. xAI, la empresa de Musk, está recaudando 6,000 mdd, según CNBC, para adquirir 100,000 chips Nvidia, componentes electrónicos avanzados que potencian los grandes modelos de inteligencia artificial.

A pesar de las grandes inversiones, los expertos de la industria comienzan a admitir que los modelos de lenguaje a gran escala (LLMs) no están escalando de manera ilimitada y acelerada al añadir más poder y datos. El rendimiento de estos modelos muestra signos de estancamiento.

“Las valoraciones astronómicas de empresas como OpenAI y Microsoft se basan en gran medida en la idea de que los LLMs, con escalado continuo, se convertirán en inteligencia general artificial”, afirmó Gary Marcus, experto en IA y crítico frecuente del sector. “Como siempre he advertido, eso es solo una fantasía”.

El desafío del límite de datos

Uno de los retos fundamentales es la cantidad finita de datos basados en lenguaje disponibles para entrenar la IA. Según Scott Stevenson, CEO de la firma de tareas legales con IA Spellbook, que colabora con OpenAI y otros proveedores, depender únicamente de datos de lenguaje para escalar inevitablemente llegará a un límite.

“Algunos laboratorios estaban demasiado centrados en solo alimentar más lenguaje, pensando que esto seguiría haciendo más inteligente al modelo”, explicó Stevenson.

Sasha Luccioni, investigadora y líder en IA en la startup Hugging Face, argumenta que este estancamiento era predecible debido al enfoque de las empresas en el tamaño en lugar del propósito en el desarrollo de modelos. “La búsqueda de la AGI siempre ha sido irrealista, y el enfoque de ‘más grande es mejor’ estaba destinado a encontrar un límite eventualmente, y creo que eso es lo que estamos viendo ahora”, señaló.

Por su parte, la industria de la IA refuta estas interpretaciones, argumentando que el progreso hacia una IA a nivel humano es impredecible. “No hay un muro”, publicó Sam Altman, CEO de OpenAI, en X (antes Twitter), sin dar más detalles.

Dario Amodei, CEO de Anthropic, cuya empresa desarrolla el chatbot Claude en colaboración con Amazon, sigue siendo optimista: “Si observas el ritmo al que estas capacidades están aumentando, te hace pensar que llegaremos allí para 2026 o 2027”.

Cambios estratégicos en OpenAI

A pesar de este optimismo, OpenAI ha retrasado el lanzamiento del esperado sucesor de GPT-4, ya que su mejora en capacidades no ha alcanzado las expectativas, según fuentes citadas por The Information.

Ahora, la compañía se centra en usar sus capacidades existentes de manera más eficiente. Este cambio de estrategia se refleja en su reciente modelo o1, diseñado para ofrecer respuestas más precisas mediante un razonamiento mejorado en lugar de depender de más datos de entrenamiento.

Stevenson señaló que el cambio de OpenAI hacia “enseñar a su modelo a pasar más tiempo pensando en lugar de responder rápidamente” ha llevado a “mejoras radicales”. Comparó el avance de la IA con el descubrimiento del fuego: en lugar de seguir añadiendo combustible en forma de datos y poder computacional, es momento de aprovechar este avance para tareas específicas.

El profesor Walter De Brouwer de la Universidad de Stanford compara los LLM avanzados con estudiantes que pasan de la secundaria a la universidad. “El bebé de la IA era un chatbot que improvisaba mucho y era propenso a cometer errores”, señaló. “Ahora se acerca el enfoque de homo sapiens: pensar antes de actuar”.

Con información de AFP