La próxima gran apuesta de Meta para la RV: la sala de tu casa

Olvídate de los mundos virtuales mágicos. En su intento por acercar la realidad virtual a más personas, Meta apuesta por entornos mucho más cotidianos: pronto, los usuarios de los lentes Quest VR podrán crear réplicas digitales de cualquier habitación de su casa e invitar a otros a “visitarlas” en esos espacios.

Imagina tener una reunión familiar improvisada en una versión virtual de tu sala, con un avatar que realmente se parece a ti y no con un personaje sacado de un videojuego.

“Hay algo muy especial en escanear un lugar que conoces, invitar a alguien más que también lo reconoce y sentir que están ahí juntos”, explica Vishal Shah, vicepresidente del metaverso de Meta.

Esa magia, a su vez, podría ayudar a Meta a convertir su visión de un metaverso 3D como un reino social 3D en una realidad, una que le ha costado a la compañía cerca de 70,000 millones de dólares hasta la fecha.

Cuando tus lentes también son una cámara

Meta presentó la primera versión de estas réplicas digitales con una aplicación llamada Hyperscape en su conferencia para desarrolladores Connect el año pasado. En la versión más reciente de la aplicación, se pueden explorar capturas 3D de alta resolución de diversos lugares, como la cocina del famoso chef Gordon Ramsay y el estudio de grabación de Chance the Rapper.

Los escaneos se ven tan detallados y reales que se te hace la boca agua al inspeccionar el jamón en la encimera de la cocina de Ramsay. Meta incluso sintió la necesidad de añadir una advertencia sobre no apoyarse en ningún mueble de estas habitaciones virtuales.

Pero las ambiciones de Meta con Hyperscape no terminan ahí: con la próxima actualización del sistema operativo, los usuarios de Meta Quest 3 y Quest 3s también podrán escanear sus propias habitaciones con las cámaras integradas de sus auriculares.

“Lo primero que pensé fue que probablemente usaron una cámara muy cara para capturar estos conjuntos de datos, ya que se ven bastante realistas”, afirma Michael Rubloff, experto en tecnología de captura 3D. “Que todas las escenas se hayan capturado con un solo dispositivo Quest es asombroso”.

Capturar una habitación con los lentes Quest VR

Capturar una habitación con los lentes Quest VR es un proceso relativamente sencillo. Primero, los lentes superponen todo lo que hay en la habitación con una especie de malla de formas geográficas para registrar sus dimensiones generales y los contornos aproximados de los muebles y otros objetos.

En una segunda pasada, rellena esas formas con datos 3D, un proceso que, a simple vista, parece generar un mosaico de muchas fotos pequeñas. Finalmente, los lentes invitan a los usuarios a mirar hacia arriba y a su alrededor para capturar información adicional sobre la altura de cada habitación.

El proceso completo de capturar una habitación promedio toma menos de 20 minutos, según los empleados de Meta que trabajaron en el proyecto. Luego, los datos de captura sin procesar se suben a los servidores de Meta, donde la réplica 3D de la habitación se renderiza en un par de horas. Una vez listo, cada espacio se transmite directamente desde la nube, sin necesidad de largas descargas.

Las réplicas digitales de Meta funcionan con una novedosa tecnología conocida como Gaussian splatting. En resumen, esta tecnología no solo captura las superficies de los objetos como lo haría una cámara fotográfica convencional, sino que deconstruye cada objeto en una colección de manchas tridimensionales, con información completa sobre su aspecto en diferentes ángulos y atributos como la transparencia. 

Hasta la fecha, la mayoría de esta tecnología se capturó con celulares. Sin embargo, convertir los lentes de realidad virtual en un dispositivo de captura ofrece ventajas distintivas.

Por un lado, Meta controla el hardware, lo que permite a la empresa optimizar su código para un tipo de cámara específico, en lugar de tener que trabajar con una gran variedad de smartphones. Además, las personas tienden a mover las manos demasiado rápido al intentar capturar algo. “El movimiento de la cabeza no es tan rápido como el del celular”, explica Jan-Michael Frahm, científico investigador de Meta.

Próximo paso: añadir avatares

En el lanzamiento, los espacios replicados con Hyperscape de Meta serán privados y solo estarán disponibles para quien los capturó. La compañía está trabajando para que las personas puedan compartir sus capturas y, con el tiempo, convertirlas en lugares para reuniones sociales. 

Las capturas de Hyperscape ya se ejecutan en un motor de juego que Meta utiliza para su metaverso Horizon Worlds. Actualmente, Horizon Worlds es básicamente una colección de juegos y espacios generados a partir de gráficos de computadora que las personas pueden explorar juntas en realidad virtual. En el futuro, los usuarios de Horizon podrán importar sus propias salas de Hyperscape a Horizon e invitar a sus amigos a unirse a ellos en una réplica digital del sofá de su sala.

“Creo que aquí hay una verdadera oportunidad de conexión humana, donde el medio ambiente es tan importante en algunos casos como las personas”, dice Shah.

También representa una oportunidad para que Meta expanda la realidad virtual más allá de su público actual. La compañía tuvo más éxito del que algunos críticos le atribuyen al establecer la RV como medio para videojuegos y experiencias complementarias, incluyendo entrenamientos gamificados.

Meta vendió cerca de 20 millones de auriculares a principios de 2023, y algunos desarrolladores lograron convertir juegos para el auricular Quest de Meta en verdaderas fuentes de ingresos. Diez aplicaciones en la tienda Horizon de Meta generaron más de 50 millones de dólares en ingresos, mientras que el número de aplicaciones con más de un millón de dólares ha superado las 300, según datos compartidos el mes pasado por ejecutivos de Meta.

Meta quiere que la realidad virtual deje de ser solo para gamers

Sin embargo, recientemente, las ventas de los lentes Quest se estancaron. Algunos desarrolladores también se quejaron de la disminución de los ingresos debido a la afluencia de usuarios más jóvenes, interesados ​​principalmente en títulos gratuitos como el exitoso juego de realidad virtual Gorilla Tag.

Meta busca contrarrestar estas tendencias ampliando el atractivo de la realidad virtual entre los usuarios de mayor edad, quienes podrían no estar tan interesados ​​en los videojuegos. Esto incluye un mayor énfasis en el entretenimiento tradicional, incluyendo una colaboración con James Cameron para producir contenido 3D para las gafas Quest.

Esta medida refleja los esfuerzos que Apple realizó para promocionar sus lentes Vision Pro, que enfrentaron sus propios obstáculos. Con un precio muy superior al del hardware de Meta, las Vision Pro tuvieron escasas ventas, a pesar de integrarse con los ordenadores de la compañía para uso profesional. 

Pero esto no frenó el interés generalizado de la industria en los visores de realidad virtual y las tecnologías 3D: se espera que Samsung y Google lancen sus propios visores a finales de octubre, que tienen un nombre en código: Proyecto Moohan. Al igual que el Vision Pro, está orientado al entretenimiento inmersivo y al uso profesional.

Avatares códec y captura 3D para el futuro cercano

La compañía también ha estado trabajando en representaciones más realistas de los usuarios en RV mediante personajes capturados en 3D, a los que llama avatares códec. Aunque aún están en desarrollo, Shah cree que los avatares códec podrían ser el complemento perfecto para Hyperscape. “Estás en un entorno que parece fotorrealista. Estás con personas que parecen fotorrealistas”, explica. “Para algunas personas, eso será lo más mágico de unos lentes”.

Incluso sin esos avatares, la captura 3D podría convertirse en una importante cápsula del tiempo para los consumidores. “Así como la fotografía nos ayudó a preservar la memoria, el 3D también cumple esa promesa para el consumidor general”, argumenta Rubloff. “Nos da la posibilidad de retroceder en el tiempo. Hemos podido capturar el mundo en 2D durante los últimos 200 años. Ahora podemos hacer lo mismo en 3D”.