El modelo de transcripción automática Whisper de OpenAI, promovido como un sistema de «precisión y robustez casi humana», enfrenta desafíos significativos debido a un fenómeno conocido como «alucinaciones». Estas alucinaciones, que representan fragmentos o frases inventadas que no existen en el audio original, han generado preocupación en entornos donde Whisper se está utilizando para transcribir y resumir interacciones en sectores sensibles, como hospitales y centros de salud.
Según datos de una investigación de The Associated Press, un número creciente de hospitales y clínicas ha adoptado herramientas basadas en Whisper para documentar consultas médicas. Nabla, una empresa que implementa esta tecnología, afirma que su herramienta ha transcrito alrededor de 7 millones de conversaciones médicas, y es usada por más de 30,000 profesionales de la salud y 40 sistemas hospitalarios. Aunque Nabla asegura que su tecnología está diseñada para minimizar errores, reconoce las limitaciones del modelo y continúa trabajando en actualizaciones para reducir las alucinaciones.
Impacto de las «alucinaciones» en transcripciones médicas
Un estudio de investigadores de las universidades de Cornell y Washington reveló que, aunque la mayoría de las transcripciones de Whisper son precisas, aproximadamente un 1% incluye frases completamente inventadas. Casi el 40% de estas alucinaciones contienen elementos problemáticos, como términos de violencia o asociaciones incorrectas, lo cual puede tener implicaciones serias, especialmente en casos médicos. Estas alucinaciones tienden a ocurrir con mayor frecuencia en personas que presentan patrones de habla intermitentes, como aquellos con afasia, lo que aumenta el riesgo de transcripciones imprecisas para ciertos pacientes vulnerables.
Llamados a la regulación y a mejoras en la tecnología
Investigadores y expertos en inteligencia artificial han expresado su preocupación por la rápida adopción de Whisper en contextos donde la precisión es crucial. Christian Vogler, director del programa de tecnología de acceso de la Universidad de Gallaudet, destacó los riesgos de estas imprecisiones para la comunidad sorda y con dificultades auditivas, que depende de subtítulos y transcripciones exactas.
Algunos ex empleados de OpenAI y otros ingenieros han instado a la compañía a priorizar la resolución de este problema. William Saunders, un ingeniero de investigación en San Francisco, argumentó que OpenAI debería abordar estos desafíos antes de expandir el uso de Whisper en aplicaciones de alto riesgo. OpenAI ha respondido que trabaja continuamente en la reducción de alucinaciones y agradece los hallazgos de los investigadores para mejorar sus modelos.
Respuesta de OpenAI y Nabla
OpenAI ha indicado que su política de uso prohíbe implementar Whisper en «contextos de toma de decisiones de alto riesgo» y recomienda no utilizarlo en dominios con riesgos elevados. La empresa afirma que está realizando estudios para mitigar el problema y que agradece los informes y colaboraciones de los investigadores. Nabla, por su parte, ha implementado una segunda capa de revisión en sus transcripciones médicas, que verifica la precisión de los datos antes de ser incorporados en los registros de pacientes.
Futuro de Whisper en el ámbito médico
La herramienta Whisper, que también está disponible en plataformas de computación en la nube como Oracle y Microsoft, ha sido descargada millones de veces. Sin embargo, los desarrolladores y expertos advierten que es esencial abordar estas limitaciones antes de su expansión en aplicaciones sensibles como la salud. La adopción de Whisper para transcripciones médicas y otros usos en sectores críticos subraya la necesidad de una regulación adecuada y de mejorar la tecnología para evitar riesgos de interpretación incorrecta o desinformación.
