ChatGPT podría permitir contenido erótico. ¿Qué pasa con Sora?

Sam Altman comentó casualmente el martes en X que OpenAI planea introducir contenido erótico o NSFW en ChatGPT en diciembre. El comentario, surgido al final de una discusión sobre la salud mental de los usuarios, plantea diversas preguntas sobre la seguridad y la confianza de los usuarios, y sobre el público al que OpenAI realmente quiere llegar.

Altman afirma que la compañía espera implementar un nuevo mecanismo de restricción de edad mediante el cual los usuarios demostrarán que tienen la edad suficiente para consumir contenido para adultos. En ChatGPT, esto implica conversaciones francas sobre sexo con el chatbot, o quizás algunas formas de entretenimiento como juegos de rol con acompañantes de IA atractivos.

xAI de Elon Musk ya ha avanzado bastante en ese sentido con sus Acompañantes de IA, que se lanzaron durante el verano dentro del chatbot Grok. Los acompañantes, reservados para los suscriptores Premium de la app Grok, tienen un modo “NSFW” y están dispuestos a participar en conversaciones atractivas.

La forma en que Altman define la IA NSFW suena similar al enfoque de Musk sobre el contenido apropiado. “Como parte de nuestro principio de ‘tratar a los usuarios adultos como adultos’, permitiremos aún más, como contenido erótico para adultos verificados”, escribió en X. Así que no es difícil imaginar que ChatGPT siga algunos de los caminos que ha tomado xAI.

Hasta cierto punto, esto también podría aplicarse a los generadores de imágenes. Musk ya lo ha hecho. En agosto, xAI lanzó el generador de imágenes Grok Imagine, que, según se informa, cuenta con un “modo picante” que permite a los usuarios crear contenido sexualmente explícito, incluyendo desnudez femenina parcial, mediante mensajes de texto. ¿Se extenderá la nueva actitud permisiva de OpenAI sobre el contenido para adultos en ChatGPT también a sus otros productos?

¿El contenido erótico llegará a Sora también?

El segundo producto más popular de la compañía es el nuevo generador de imágenes Sora 2. La diferencia entre Sora 2 y Grok Imagine radica en que Sora es una aplicación social. Usar la aplicación Sora 2 es muy parecido a usar TikTok, solo que todo el contenido que se ve, comparte y crea en ella es generado por IA, no grabado con cámaras. Este aspecto social plantea la cuestión de la idoneidad. Actualmente, OpenAI controla estrictamente el contenido creado en Sora 2 (actualmente solo por invitación).

No se permite contenido sexual, y la compañía afirma que aplicará un filtro aún más estricto a las generaciones de Sora que se compartirán en redes sociales. La compañía utiliza tanto IA de moderación de contenido como revisores humanos para detectar material que pueda infringir sus directrices. Ofrece a los usuarios una forma de denunciar videos ofensivos y utiliza un algoritmo de IA para detectar cuentas que presentan características que se asociarían con ser propiedad de un menor.

Sin embargo, la compañía también afirma que está adoptando un enfoque iterativo en la moderación de contenido, por lo que los estrictos estándares de moderación actuales podrían flexibilizarse en el futuro. Esto podría ser especialmente problemático en lo que respecta a los derechos de imagen y semejanza de los usuarios de Sora. Una de las principales funciones de la app de Sora son los “cameos”, donde los usuarios pueden mostrar su propia imagen, la de sus amigos o la de ciertas celebridades, en sus creaciones de vídeo. Permitir contenido NSFW en este contexto podría generar diversos problemas de seguridad y fiabilidad para los usuarios y para OpenAI.

Reacciones inesperadas

Altman se sorprendió por el revuelo que causó su publicación “erótica” el martes. El miércoles, intentó explicarlo con más detalle en otro tuit:

“A medida que la IA cobra mayor importancia en la vida de las personas, permitirles mucha libertad para usarla como deseen es una parte fundamental de nuestra misión… Sin ser paternalistas, intentaremos ayudar a los usuarios a alcanzar sus objetivos a largo plazo. Pero no somos la policía moral electa del mundo. De la misma manera que la sociedad establece otros límites apropiados (como las películas para adultos, por ejemplo), queremos hacer algo similar aquí”.

Y, dejando de lado las preocupaciones de seguridad, el lado “adulto” de la vida siempre ha estado bien representado en las plataformas tecnológicas, desde el VHS hasta la realidad virtual y las redes sociales. Es poco probable que la aceptación de contenido adulto por parte de OpenAI haga que ChatGPT sea más tonto o menos útil, pero podría dar a millones de personas más una razón más para empezar a usar el chatbot.