Los científicos investigan para comprender la inteligencia artificial

Este enfoque ayuda a los usuarios a comprender el funcionamiento interno de las "cajas negras" de los algoritmos de IA, especialmente en el uso médico y en el contexto de la próxima Ley Europea sobre Inteligencia Artificial.

Un grupo de investigadores de la Universidad de Ginebra (UNIGE), los Hospitales Universitarios de Ginebra (HUG) y la Universidad Nacional de Singapur (NUS) han desarrollado un nuevo enfoque para evaluar la comprensión de las tecnologías de inteligencia artificial.

Este avance permite una mayor transparencia y credibilidad de las herramientas de diagnóstico y predicción impulsadas por IA. El nuevo método revela el misterioso funcionamiento de las llamadas "cajas negras" de los algoritmos de IA, ayudando a los usuarios a comprender qué influye en los resultados que produce la IA y si se puede confiar en ellos.

Esto es especialmente importante en escenarios que tienen un impacto significativo en la salud y el bienestar humanos, como el uso de la IA en el entorno médico. La investigación tiene especial importancia en el contexto de la próxima Ley de Inteligencia Artificial de la Unión Europea, que busca regular el desarrollo y uso de la IA en la UE.

Los hallazgos fueron publicados recientemente en la revista Nature Machine Intelligence. Los tipos de datos temporales que representan la evolución de la información a lo largo del tiempo están en todas partes: por ejemplo, en medicina cuando se registra la actividad cardíaca con un electrocardiograma (ECG), cuando se estudian terremotos, se siguen patrones climáticos o en la economía para monitorear las condiciones financieras de los mercados. .

Estos datos se pueden modelar utilizando tecnologías de inteligencia artificial para crear herramientas de diagnóstico o predicción. El progreso de la IA y especialmente del aprendizaje profundo, que incluye entrenar una máquina con la ayuda de grandes cantidades de datos para interpretarlos y aprender patrones útiles, abre el camino a herramientas cada vez más precisas de diagnóstico y predicción. Sin embargo, la falta de conocimiento sobre cómo funcionan los algoritmos de IA y qué influye en sus resultados plantea preguntas importantes sobre la confiabilidad de la tecnología de IA de caja negra.

"La forma en que funcionan estos algoritmos es, en el mejor de los casos, opaca", afirma el profesor Christian Lovis, director del Departamento de Radiología e Informática Médica de la Facultad de Medicina de UNIGE y jefe del Departamento de Ciencias de la Información Médica del HUG y uno de los autores. del estudio sobre la comprensión de la IA.

"Por supuesto, hay mucho en juego, especialmente en lo financiero. Pero ¿cómo podemos confiar en una máquina sin comprender la base de su razonamiento? Estas preguntas son cruciales, especialmente en sectores como la medicina, donde las decisiones impulsadas por la IA pueden afectar la salud de las personas e incluso sus vidas, y en las finanzas, donde pueden provocar enormes pérdidas de capital. .«

Los métodos de comprensión se esfuerzan por responder a estas preguntas revelando por qué y cómo la IA llegó a una determinada decisión y los motivos de ella. "Conocer los elementos que inclinaron la balanza a favor o en contra de una solución en una situación determinada, lo que permite al menos cierta transparencia, aumenta nuestra confianza en el funcionamiento de las herramientas", dice el profesor asistente Gianmarco Mengaldo, director del laboratorio MathEXLab de la Facultad de Diseño e Ingeniería de la Universidad Nacional de Singapur.

“Sin embargo, los métodos de comprensión actuales que se utilizan ampliamente en aplicaciones prácticas y circuitos industriales producen resultados muy diferentes, incluso cuando se aplican a la misma tarea y conjunto de datos. Esto plantea una pregunta importante: ¿Qué método es correcto si se supone que hay una respuesta única y correcta? ¿Será por eso que evaluar los métodos de comprensión se está volviendo tan importante como la comprensión misma?

Diferenciar entre información importante e irrelevante

Diferenciar datos es clave para desarrollar tecnologías de IA que se comprendan plenamente. Por ejemplo, cuando la inteligencia artificial analiza imágenes, se centra en algunas características destacadas.

Hugues Turbé, estudiante de doctorado en el laboratorio del profesor Lovis y primer autor del estudio sobre IA, explica: “La IA puede, por ejemplo, distinguir entre la imagen de un perro y la de un gato. El mismo principio se aplica también al análisis de secuencias temporales: la máquina debe poder seleccionar los elementos a partir de los cuales pensará. En el caso de las señales de ECG, esto significa armonizar las señales de diferentes electrodos para evaluar posibles fluctuaciones que serían un signo de una determinada enfermedad cardíaca.»

Elegir un método de comprensión entre todos los disponibles para un propósito particular no es fácil. Los diferentes métodos de IA suelen ofrecer resultados muy diferentes, incluso cuando se aplican al mismo conjunto de datos y tarea.

Para afrontar este desafío, los investigadores desarrollaron dos nuevos métodos de evaluación para ayudar a comprender cómo la IA toma decisiones: uno para identificar las partes más importantes de una señal y otro para evaluar su importancia relativa para la predicción final.

Para la evaluación de comprensión, ocultaron parte de los datos para ver si eran relevantes para la toma de decisiones de la IA. Sin embargo, este enfoque a veces provocó errores en los resultados. Para solucionar este problema, la máquina fue entrenada con un conjunto de datos ampliado que incluía datos ocultos, lo que ayudó a mantener el equilibrio y la precisión. Luego, el equipo creó dos formas de medir el éxito de los métodos de comprensión, que mostraban si la IA estaba usando los datos correctos para tomar decisiones y si todos los datos se consideraron adecuadamente.

"Nuestro método tiene como objetivo evaluar el modelo que utilizaremos realmente en nuestra zona operativa y así garantizar su fiabilidad", explica Hugues Turbé. Para continuar la investigación, el equipo desarrolló un conjunto de datos sintéticos que está disponible para la comunidad científica para evaluar fácilmente cualquier nueva IA diseñada para interpretar secuencias en čas.

El futuro de la inteligencia artificial en la medicina

El equipo planea probar su método en un entorno clínico, donde el miedo a la IA todavía está muy extendido. "Generar confianza en la evaluación de la inteligencia artificial es un paso clave hacia la aceptación en entornos clínicos", explica el Dr. Mina Bjelogrlic, quien dirige el equipo de aprendizaje automático en la división Lovis y es coautora de este estudio. "Nuestra investigación se centra en evaluar la IA basada en secuencias de tiempo, pero la misma metodología podría aplicarse a la IA basada en otros tipos de datos, como imágenes o datos de texto. El objetivo es garantizar la transparencia, la comprensibilidad y la fiabilidad de la IA para los usuarios.»

Comprender el funcionamiento interno de la inteligencia artificial es clave para generar confianza en su uso, especialmente en sectores críticos como la medicina y las finanzas. La investigación, realizada por un equipo de investigadores de la Universidad de Ginebra y la Universidad Nacional de Singapur, ofrece un método innovador para evaluar la comprensión de la inteligencia artificial que ayuda a los usuarios a comprender por qué y cómo se toman las decisiones. Este enfoque es especialmente importante para aplicaciones médicas, donde las decisiones tomadas por inteligencia artificial pueden salvar vidas.