Cómo Hebbia está desarrollando IA para investigaciones más certeras y profundas

Hebbia, una startup de inteligencia artificial con sede en Nueva York, dice haber desarrollado técnicas que permiten a la IA responder preguntas sobre enormes cantidades de datos sin apoyarse simplemente en parafrasear lo que ha leído ni, peor aún, inventar información.

Para ayudar a las herramientas de IA generativa a responder preguntas más allá de la información contenida en sus datos de entrenamiento, las empresas de IA han utilizado recientemente una técnica llamada generación aumentada por recuperación (RAG). Cuando los usuarios formulan una pregunta, la IA impulsada por RAG utiliza un sistema similar a un motor de búsqueda que localiza la información relevante a la que tiene acceso, ya sea en la web o en una base de datos privada. 

Luego, esa información se envía al modelo de IA subyacente junto con la consulta del usuario y cualquier otra instrucción, para que pueda usarla para formular una respuesta.

El problema, según George Sivulka, director ejecutivo de Hebbia, es que RAG puede saturarse demasiado con las coincidencias de palabras clave como para centrarse en responder a la pregunta real del usuario. Por ejemplo, si un inversor pregunta a un sistema basado en RAG si una empresa en particular parece una buena inversión, el proceso de búsqueda podría mostrar partes de los informes financieros de la empresa que utilizan ese tipo de lenguaje, como declaraciones favorables del director ejecutivo, en lugar de realizar un análisis exhaustivo basado en criterios para seleccionar una acción.

“El RAG tradicional es bueno para responder preguntas que están en los datos, pero falla para las preguntas que se refieren a los datos”, dice Sivulka.

¿Cómo mejorará Hebbia estos sistemas?

Es un problema que surge en los motores de búsqueda de propósito general basados ​​en IA, que pueden lanzar información con gran seguridad, desinformación o información fuera de tema que coincida con una consulta, así como en herramientas especializadas. Una prueba reciente de una herramienta de IA legal, en la que se le pidió al sistema que encontrara opiniones destacadas de un juez ficticio, reveló que destacó un caso que involucraba a una parte con un nombre similar. 

Hebbia afirma que RAG por sí solo a menudo no puede responder preguntas que requieren analizar un gran conjunto de datos, más allá de encontrar documentos relevantes.

Hebbia, según Sivulka, ha abordado el problema con una técnica que la empresa denomina descomposición iterativa de fuentes. Este método identifica las partes relevantes de un conjunto de datos o una colección de documentos mediante un modelo de IA real, en lugar de la simple coincidencia de palabras clave o similitud textual. Incorpora lo que encuentra a una red anidada de modelos de IA que pueden analizar partes de los datos y generar resultados intermedios conjuntamente. Así, el sistema puede finalmente proporcionar una respuesta completa a una pregunta.

“Técnicamente, lo que hace es ejecutar un LLM sobre cada token que importa y luego usarlo para alimentar otro modelo, que a su vez alimenta otro modelo, y así se repite hasta llegar a la cima”, dice Sivulka.

La nueva tecnología superará las capacidades actuales de la IA

Las técnicas de procesamiento anidado de Hebbia también ayudan a superar las limitaciones de las ventanas de contexto de IA, que limitan la cantidad de información que se puede proporcionar a un modelo de lenguaje en una consulta, afirma.

Hebbia anunció una ronda de financiación Serie A de 130 millones de dólares en julio y cuenta con clientes como la Fuerza Aérea de Estados Unidos, el bufete de abogados Gunderson Dettmer y las firmas de capital privado Charlesbank y Cinven. Sivulka afirma que varios clientes utilizan la tecnología de la compañía para responder preguntas complejas sobre datos financieros para posibles inversiones o para buscar información valiosa oculta en voluminosos conjuntos de datos de descubrimiento legal, entre otros muchos casos de uso. La herramienta también puede configurarse para notificar a los usuarios cuando nuevos datos le permitan extraer nuevas conclusiones, como cuando aparecen en línea nuevos informes financieros de una empresa en particular, afirma Sivulka. 

La demanda es tan alta que Hebbia, que utiliza modelos de grandes proveedores como OpenAI y Anthopic, ha desarrollado su propio software para maximizar el número de consultas que puede enviar a diferentes modelos. Su sistema incluso considera los diferentes límites de velocidad para, por ejemplo, el acceso a GPT ofrecido por Microsoft y directamente por OpenAI. 

Y, según Sivulka, la demanda sigue aumentando, ya que los clientes utilizan el software de Hebbia para considerar conjuntos de datos más amplios de lo que antes habría sido posible para la toma de decisiones. La compañía afirma haber gestionado 250 millones de consultas de usuarios en lo que va de año, en comparación con los 100 millones del año pasado.

“Si eres un inversor y estás construyendo un caso para invertir o no invertir, puedes mirar y corroborar tus suposiciones con muchos más datos”, dice Sivulka.