Uno de los conceptos que más popularidad ha ganado últimamente alrededor de la inteligencia artificial generativa es el de las llamadas “alucinaciones”: respuestas falsas, referencias inexistentes o información incorrecta producida por un sistema aparentemente confiable.

Hablar de “alucinaciones” puede llevarnos a pensar que la inteligencia artificial está fallando, desviándose de una supuesta lógica racional o “imaginando” cosas que no existen. Pero tal vez lo que ocurre es algo distinto y estamos interpretando incorrectamente la naturaleza de estos sistemas artificiales. 

La propia palabra “alucinar” implica imaginar, fantasear, desvariar o incluso engañar. Pero atribuir esas conductas a un sistema artificial que construye respuestas a partir de probabilidades estadísticas puede ser conceptualmente impreciso.

Partiendo de esas definiciones, parece aventurado afirmar que la IA “alucina”, no creo que trate de engañar, que esté imaginando algo o que esté fantaseando o desvariando. De hecho, respecto a esto de desvariar, muchos de los textos calificados como alucinaciones están tan bien redactados que incluso despachos jurídicos los han utilizado en litigios (ver nota). 

A mi parecer, lo que está fallando no es el sistema sino las expectativas. Y es que aunque para el usuario la inteligencia artificial parece “razonar” o “comprender”, en realidad se trata de modelos estadísticos que identifican patrones y estiman valores o respuestas probables. 

Haciendo una especie de analogía, hace tiempo tuve oportunidad de experimentar con redes neuronales artificiales utilizando NeuroShell. La mera era estimar el valor de bienes inmuebles a partir de variables como ubicación, tamaño, antigüedad o número de habitaciones y posteriormente generaba estimaciones de precio. Y aunque los resultados eran acertados en general, existían casos atípicos donde el valor estimado se alejaba considerablemente del precio real.

En aquel momento, cuando la respuesta era atípica, nunca pensé que el sistema estuviera “alucinando”. En otras palabras, no es que el modelo estuviera imaginando una respuesta; estaba calculando el valor estadísticamente más probable con base en los patrones identificados durante su entrenamiento.

Creo que algo muy similar ocurre hoy con los modelos generativos de texto. Cuando un sistema “inventa” una referencia jurídica inexistente o produce una explicación incorrecta, no necesariamente está “desvariando” o “fantaseando”. Lo que hace es construir la respuesta más probable con base en los patrones identificados durante su entrenamiento.

¿Qué quiere el usuario?

Por otro lado, creo que tenemos que hacer otra pregunta importante: ¿qué es exactamente lo que quiere el usuario? ¿para qué está utilizando la IA generativa?

Porque no es lo mismo pedirle a un sistema generativo una explicación sobre jurisprudencia, que pedirle una referencia exacta y verificable de una tesis judicial. Si lo que se busca es una fuente oficial, probablemente la mejor opción no es un modelo generativo, sino un buscador especializado de tesis y precedentes, como el Semanario Judicial de la Federación de la Suprema Corte de Justicia de la Nación.

En otras palabras, quizá parte del problema no es que la IA “invente” cosas, sino que estamos utilizando sistemas generativos para tareas donde realmente necesitamos sistemas de búsqueda documental.

Partiendo de estas reflexiones, tal vez el verdadero reto no sea eliminar por completo las llamadas “alucinaciones”, sino aprender a convivir con sistemas que producen resultados probables y no verdades absolutas. Eso va a implicar algo más complejo que mejorar algoritmos: desarrollar capacidades críticas para distinguir entre una respuesta convincente… y una respuesta correcta: pensamiento crítico.