‘LegoGPT’ diseña modelos Lego estables y construibles con solo darle una indicación

Los investigadores de la Universidad Carnegie Mellon (CMU) acaban de responder una pregunta que probablemente los fanáticos de Lego han tenido durante décadas: “¿Qué pasaría si pudiera convertir instantáneamente cualquier idea en un juego de Lego?”.

En un artículo titulado “Generación de diseños LEGO físicamente estables y construibles a partir de texto”, publicado la semana pasada, seis coautores presentan un invento al que llaman “LegoGPT”. Este modelo generativo de Inteligencia Artificial (IA) puede tomar una instrucción textual, como “una guitarra acústica con forma de reloj de arena”, y determinar todas las piezas de Lego necesarias para construir esa estructura y cómo ensamblarlas. 

La demostración y el código de LegoGPT están disponibles públicamente a través del estudio, lo que significa que los aficionados a Lego pueden probarlo en casa. Aunque los resultados se limitan actualmente a unas 20 categorías —incluyendo artículos básicos como sillas, guitarras, barcos, trenes y coches—, los investigadores están trabajando para ampliar las capacidades del modelo a categorías más complejas.

En última instancia, creen que una herramienta tipo LegoGPT podría servir como base para una variedad de tareas del mundo real en arquitectura y diseño de productos.

Cómo LegoGPT predice su próximo bloque

LegoGPT es una versión optimizada del modelo de aprendizaje de lenguaje LLaMA-3.2-Instruct-1B de Meta, que puede considerarse un ChatGPT de código abierto. Para enseñar al modelo a construir estructuras Lego, los investigadores lo entrenaron utilizando una base de datos de 47,000 estructuras Lego y 28,000 formas 3D únicas, cada una con su propia descripción. Basándose en esta amplia gama de diseños, LegoGPT es capaz de predecir cómo construir un objeto hipotético usando solo una instrucción de texto.

Para ello, LegoGPT utiliza algo llamado modelo autorregresivo, que es común entre las plataformas de IA generativa más populares.

“ChatGPT y Llama son modelos autorregresivos porque, dada la secuencia de palabras que ya han generado, buscan predecir la siguiente palabra”, explica Ava Pun, coautora del estudio y estudiante de doctorado en la CMU. “Así que, si preguntas “¿Qué tiempo hace?” y predice “El tiempo hoy es…”, intentará predecir la siguiente palabra: soleado, lluvioso, etc. Con Lego GPT, en lugar de predecir la siguiente palabra, busca predecir el siguiente bloque”.

Algoritmos de física

Una vez que LegoGPT ha creado un modelo 3D que cree que funcionará, el modelo necesita una forma de garantizar que la estructura sea realmente estable. Según Pun, esto resultó complicado, considerando que los simuladores existentes no están entrenados para comprender la física de un bloque Lego. Por lo tanto, el equipo de la CMU desarrolló su propio algoritmo de física para LegoGPT para comprobar su funcionamiento.

“Desarrollamos un algoritmo de razonamiento físico personalizado que tiene en cuenta todas las fuerzas físicas que experimentan los ladrillos: por ejemplo, la fuerza descendente debida a la gravedad, las fuerzas de fricción y las fuerzas de contacto de los otros ladrillos que tocan”, explica Pun. “El algoritmo construye un modelo de fuerza para la estructura y luego evalúa las fuerzas en toda la estructura. Si la suma de estas fuerzas físicas es cero, significa que la estructura no se moverá”. 

LegoGPT utiliza automáticamente este algoritmo para garantizar que se haya encontrado una solución viable. Si alguno de los bloques seleccionados causa inestabilidad en el modelo, este continuará iterando hasta encontrar una nueva versión que supere la prueba.

Una futura aplicación en el mundo real

Hasta ahora, los investigadores han utilizado LegoGPT para crear diversas estructuras, incluyendo coches clásicos, barcos de vapor y una guitarra eléctrica. Actualmente, el modelo solo funciona en una cuadrícula de vóxeles de 20x20x20, aunque Pun afirma que el equipo ya planea añadir más tipos de bloques a la base de datos del modelo y ampliar la resolución de la cuadrícula.

Para los aficionados a Lego que quieran jugar en casa, la demo del estudio, disponible a través de un portal público, puede convertir instrucciones sencillas en un modelo 3D de Lego para construir y una lista de las piezas necesarias. Dado que LegoGPT no está diseñado para construir con Lego, no ofrece instrucciones paso a paso, lo que significa que el principal reto será determinar cómo colocar los componentes en el orden correcto. 

Pun afirma que su equipo utilizó el ensamblaje de bloques Lego para probar las capacidades de construcción 3D de la IA gracias a la accesibilidad de los bloques. Sin embargo, creen que con el tiempo este concepto podría aplicarse a situaciones reales, como ayudar a arquitectos a diseñar edificios o muebles a medida a partir de un conjunto predefinido de piezas.

“Las IA generativas actuales no pueden ofrecer eso: se puede generar una imagen o un video genial de una silla, pero el modelo no sabe cómo se pueden fabricar en el mundo real”, afirma Pun. “Queríamos abordar este reto integrando leyes físicas y restricciones de ensamblaje en modelos generativos y creando objetos que funcionen en la realidad”.