Microsoft tiene cuidado de señalar que su herramienta de corrección de alucinaciones no resuelve con precisión, sino que se limita a proporcionar una respuesta con una fuente.
Microsoft quiere usar la IA para arreglar la IA, pero ¿funcionará?
Microsoft ha presentado una nueva herramienta para los creadores de aplicaciones de IA que utiliza otras IA para evaluar y analizar las respuestas de la primera. Si la herramienta de corrección de alucinaciones cree que una respuesta puede ser inventada, se supone que la corrige con una respuesta respaldada por una fuente. Este moderador secundario de IA, conocido como herramienta de seguridad de contenidos, forma parte de la plataforma Azure AI de Microsoft.
En un vídeo explicativo de la herramienta de corrección, Microsoft se refiere a las respuestas que han sido extraídas de una fuente como «fundamentadas» y a las inventadas o alucinadas como «no fundamentadas».
«Cuando el sistema detecta contenido no fundamentado o alucinaciones, resalta las partes inexactas. A continuación, explica por qué la sección se ha marcado como no fundamentada. A continuación, corrige el contenido sin conexión a tierra, alineándolo con las fuentes de datos conectadas», explica el vídeo.
Este proceso es un paso secundario en el backend, antes de que la respuesta de la IA llegue a la persona que ha escrito la consulta. Pero esto significa que las aplicaciones de IA que utilizan este sistema de moderación pueden tardar más en dar respuestas a los usuarios, e incluso las respuestas revisadas pueden no ser correctas.
Un representante de Microsoft explicó que la función de corrección utiliza modelos lingüísticos pequeños y grandes para analizar las respuestas de IA en busca de alucinaciones y encontrar datos online que puedan respaldar una respuesta. Esta solución implica que varias herramientas de IA generativa deben trabajar juntas en el backend, donde una busca afirmaciones sin respaldo mientras la otra las revisa con texto nuevo.
Pero una solución impulsada por la IA para los problemas de IA podría no funcionar, teniendo en cuenta que el defecto fundamental de la alucinación se encuentra en el núcleo de todos los modelos de IA generativa. También podría frustrar aún más a los usuarios si la aplicación de IA se verifica con este sistema secundario destinado a mejorar la confianza del usuario pero sigue produciendo errores que eluden o son causados por este sistema de verificación.
Si bien Microsoft reconoce que las alucinaciones erosionan la confianza de los usuarios en la IA generativa, presenta la seguridad de contenido como una solución, pero paradójicamente admite que la herramienta en realidad no resuelve el problema de la precisión. Ahí es donde entra en juego la «constancia», porque la IA no puede verificar la fuente para confirmar que es precisa (pero la citará de todos modos). Y estas IA que verifican los hechos también podrían alucinar.
«Es importante señalar que la detección de la constancia no resuelve el problema de la ‘precisión’, pero ayuda a alinear los resultados de la IA generativa con los documentos de base», dijo Microsoft.
