Los legisladores de Nueva York quieren que los chatbots de IA dejen de hacerse pasar por médicos o abogados

Nueva York es el último estado en considerar un proyecto de ley que prohibiría que los chatbots de IA brinden consejos que los profesionales con licencia normalmente darían, como asesoramiento médico o legal. El proyecto de ley también permitiría a las personas que consideren haber sido perjudicadas por dicho asesoramiento demandar al operador del chatbot.

El Proyecto de Ley Senatorial S7263, presentado por la senadora estatal demócrata Kristen Gonzalez, fue aprobado por un comité de tecnología con una votación de 6 a 0 la semana pasada y ahora avanza a su debate en el pleno del Senado. Curiosamente, el proyecto de ley exige a los operadores que etiqueten claramente sus chatbots como IA, pero estipula que dicha etiqueta no es suficiente para protegerlos de demandas en virtud de la ley.

La propuesta refleja un cambio creciente en la forma en que los legisladores piensan sobre la IA. Si bien los esfuerzos iniciales se centraron principalmente en la transparencia, los legisladores están comenzando a explorar algo posiblemente más trascendental: si las empresas deberían ser legalmente responsables cuando los sistemas de IA brindan consejos que causan daños en el mundo real.

El proyecto de ley se aplica a los chatbots que brindan asesoramiento en los campos de la medicina, el derecho, la odontología, la veterinaria, la fisioterapia, la farmacia, la enfermería, la podología, la optometría, la ingeniería, la agrimensura, la geología, la arquitectura, la psicología y el trabajo social.

Nueva York no actúa solo. Otros estados han aprobado o están considerando leyes similares, aunque con alcances y métodos de aplicación diferentes, y tienden a centrarse principalmente en la atención médica:

• La ley AB 489 de California, promulgada en 2025, establece algo similar, pero con un alcance más limitado, y se centra en los sistemas de IA que falsean su información como si proveniera de profesionales de la salud con licencia. Sin embargo, la ley AB 489 depende de las juntas estatales de atención médica para su aplicación y no contempla un derecho de acción privada (demanda civil) para el recurso legal.
• Una nueva ley de Nevada, la AB 406, que entró en vigor en julio pasado, prohíbe la publicidad y el funcionamiento de sistemas de IA diseñados para dispensar terapia profesional de salud mental y conductual. La ley también limita cómo los profesionales con licencia pueden utilizar la IA en sus consultas.
• En agosto pasado, Illinois aprobó la ley HB 1806, que prohíbe a los terapeutas con licencia en el estado utilizar IA para tomar decisiones de tratamiento o comunicarse con sus clientes. La ley también prohíbe a las empresas tecnológicas anunciar u ofrecer servicios de terapia basados ​​en IA en el estado sin la participación de un profesional con licencia.
• Utah aprobó una ley similar, la HB 452, que impone restricciones y requisitos de divulgación a los chatbots que parecen ofrecer una alternativa a la terapia o el asesoramiento de salud mental proporcionados por personas. La ley entró en vigor en 2025.

Los grupos médicos profesionales también han comenzado a evaluar los riesgos. La Asociación Médica Estadounidense (AMA) no exige la prohibición de que los chatbots de IA proporcionen información de salud, pero le preocupa que los consejos al consumidor de los Large Language Models (LLM) puedan ser falsos o engañosos. “En particular, herramientas como ChatGPT han mostrado una tendencia bastante común a falsificar las referencias citadas en respuesta a estas consultas”, afirma la AMA en un documento de políticas, y añade que las herramientas de IA han demostrado la capacidad de generar literatura científica o médica fraudulenta para respaldar los consejos de salud.

Un área especialmente sensible es el asesoramiento en salud mental. Este tipo de asesoramiento es particularmente delicado, quizás porque muchos usuarios de chatbots, especialmente los más jóvenes, utilizan la IA como consejero o terapeuta. Un estudio de JAMA Network de 2025 reveló que 13% de los encuestados utilizaba chatbots para obtener asesoramiento en salud mental, y 22% de las personas de entre 18 y 21 años lo hacía.

Las empresas de IA han reconocido un mercado potencial amplio y en crecimiento para los chatbots de IA en salud mental, en parte porque muchos consumidores tienen dificultades para encontrar un terapeuta asequible. Para algunos consumidores, según el argumento, acceder a asesoramiento en salud mental a través de un chatbot es mejor que no recibir ninguno.

La Asociación Americana de Psicología afirma que los chatbots podrían ser peores que nada. Esto se debe a la tendencia de los modelos de IA a relacionarse con los humanos de forma aduladora. El grupo declaró en una presentación ante la Comisión Federal de Comercio que “los chatbots de IA que se hacen pasar por terapeutas, pero están programados para reforzar, en lugar de desafiar, el pensamiento del usuario, podrían llevar a personas vulnerables a hacerse daño a sí mismas o a otros”.

La senadora González probablemente tendrá que explicar por qué su proyecto de ley S7263 se centra en los chatbots como fuente de información legal o médica, pero no en los motores de búsqueda tradicionales. Podría citar un estudio experimental de 2025 que demuestra que las personas confían demasiado en la IA. (Se negó a hacer comentarios para este artículo). Los investigadores escriben que los chatbots de IA suelen sonar más convincentes y fiables que los resultados de los motores de búsqueda, incluso cuando son erróneos, se desvían del tema o carecen de contexto. El estudio también descubrió que los participantes no podían distinguir con fiabilidad las respuestas de la IA de las de los médicos reales, y a menudo calificaban las respuestas de la IA como más fiables y completas.

Otro estudio realizado por Oxford y MLCommons con casi 1,300 participantes reveló que el uso de modelos de IA para evaluar y analizar escenarios sintomáticos condujo a decisiones de salud (“¿Debería tomar una aspirina? ¿Debería ir a urgencias?”) que no fueron mejores que las decisiones basadas en el conocimiento personal o la información obtenida mediante búsquedas tradicionales en internet. El estudio también reveló que los usuarios a menudo desconocen qué detalles necesita la IA para generar una respuesta, y que sus resultados suelen combinar recomendaciones correctas e incorrectas.

La AMA afirma que le gustaría que la Comisión Federal de Comercio (FTC) regulara los chatbots de IA que proporcionan información sanitaria, pero cree que la agencia actualmente carece de los recursos necesarios para asumir esa función. En su lugar, insta a las empresas tecnológicas responsables de los chatbots a revisar continuamente la precisión de sus modelos y a ofrecer a los usuarios una forma sencilla de informar cuando un chatbot genera información sanitaria inexacta.