Partager avec d'autres :
Les scientifiques étudient pour comprendre l’intelligence artificielle
Cette approche aide les utilisateurs à comprendre le fonctionnement interne des « boîtes noires » des algorithmes d’IA, notamment à usage médical et dans le contexte du prochain acte européen sur l’intelligence artificielle.
Un groupe de chercheurs de l'Université de Genève (UNIGE), des Hôpitaux universitaires de Genève (HUG) et de l'Université nationale de Singapour (NUS) ont développé une nouvelle approche pour évaluer la compréhension des technologies d'intelligence artificielle.
Cette percée permet une plus grande transparence et crédibilité des outils de diagnostic et de prédiction basés sur l’IA. La nouvelle méthode révèle le fonctionnement mystérieux des soi-disant « boîtes noires » des algorithmes d’IA, aidant les utilisateurs à comprendre ce qui influence les résultats produits par l’IA et si on peut leur faire confiance.
Ceci est particulièrement important dans les scénarios qui ont un impact significatif sur la santé et le bien-être humains, comme l’utilisation de l’IA dans l’environnement médical. La recherche revêt une importance particulière dans le contexte de la prochaine loi de l’Union européenne sur l’intelligence artificielle, qui vise à réglementer le développement et l’utilisation de l’IA dans l’UE.
Les résultats ont été récemment publiés dans la revue Nature Machine Intelligence. Les types de données temporelles qui représentent l'évolution des informations au fil du temps sont omniprésents : par exemple, en médecine lors de l'enregistrement de l'activité cardiaque avec un électrocardiogramme (ECG), dans l'étude des tremblements de terre, le suivi des conditions météorologiques ou en économie pour la surveillance financière. marchés.
Ces données peuvent être modélisées à l’aide de technologies d’IA pour créer des outils de diagnostic ou prédictifs. Les progrès de l’IA et notamment du deep learning, qui consiste à entraîner une machine à l’aide de grandes quantités de données afin de l’interpréter et d’apprendre des modèles utiles, ouvrent la voie à des outils de diagnostic et de prédiction de plus en plus précis. Néanmoins, le manque de compréhension du fonctionnement des algorithmes d’IA et de ce qui influence leurs résultats soulève d’importantes questions sur la fiabilité de la technologie d’IA boîte noire.
"Le fonctionnement de ces algorithmes est pour le moins opaque", explique le professeur Christian Lovis, directeur du département de radiologie et d'informatique médicale à la Faculté de médecine de l'UNIGE et chef du département de science de l'information médicale aux HUG et l'un des auteurs. de l’étude sur la compréhension de l’IA.
"Bien sûr, les enjeux, notamment financiers, sont extrêmement élevés. Mais comment faire confiance à une machine sans comprendre les fondements de son raisonnement ? Ces questions sont cruciales, en particulier dans des secteurs comme la médecine, où les décisions basées sur l'IA peuvent affecter la santé des personnes, voire leur vie, et dans le secteur financier, où elles peuvent entraîner d'énormes pertes en capital. . »
Les méthodes de compréhension s'efforcent de répondre à ces questions en révélant pourquoi et comment l'IA a pris une certaine décision et les raisons de celle-ci. "Connaître les éléments qui ont fait pencher la balance en faveur ou contre une solution dans une certaine situation, qui permet au moins une certaine transparence, augmente notre confiance dans le fonctionnement des outils", explique le professeur adjoint Gianmarco Mengaldo, directeur du laboratoire MathEXLab à l'Université de Mexico. Faculté de design et d'ingénierie de l'Université nationale de Singapour.
« Cependant, les méthodes de compréhension actuelles, largement utilisées dans les applications pratiques et les circuits industriels, produisent des résultats très différents, même lorsqu'elles sont appliquées à la même tâche et au même ensemble de données. Cela soulève une question importante : quelle méthode est correcte s’il est censé y avoir une réponse unique et correcte ? Est-ce pour cela que l'évaluation des méthodes de compréhension devient tout aussi importante que la compréhension elle-même ?»
Faire la différence entre les informations importantes et non pertinentes
La différenciation des données est essentielle pour développer des technologies d’IA pleinement comprises. Par exemple, lorsque l’intelligence artificielle analyse des images, elle se concentre sur quelques caractéristiques saillantes.
Hugues Turbé, doctorant dans le laboratoire du professeur Lovis et premier auteur de l'étude sur l'IA, explique : « L'IA peut, par exemple, faire la distinction entre une image de chien et une image de chat. Le même principe s'applique également à l'analyse des séquences temporelles : la machine doit pouvoir sélectionner les éléments à partir desquels elle va penser. Dans le cas des signaux ECG, cela signifie harmoniser les signaux provenant de différentes électrodes pour évaluer d’éventuelles fluctuations qui seraient le signe d’une certaine maladie cardiaque. »
Choisir une méthode de compréhension parmi toutes celles disponibles dans un but particulier n’est pas chose aisée. Différentes méthodes d’IA donnent souvent des résultats très différents, même lorsqu’elles sont appliquées au même ensemble de données et à la même tâche.
Pour relever ce défi, les chercheurs ont développé deux nouvelles méthodes d'évaluation pour aider à comprendre comment l'IA prend des décisions : une pour identifier les parties les plus importantes d'un signal et une autre pour évaluer leur importance relative dans la prédiction finale.
Pour l’évaluation de compréhension, ils ont caché une partie des données pour voir si elles étaient pertinentes pour la prise de décision en matière d’IA. Cependant, cette approche entraînait parfois des erreurs dans les résultats. Pour résoudre ce problème, la machine a été entraînée sur un ensemble de données élargi comprenant des données cachées, ce qui a permis de maintenir l'équilibre et la précision. L’équipe a ensuite créé deux façons de mesurer le succès des méthodes de compréhension, qui montraient si l’IA utilisait les bonnes données pour prendre des décisions et si toutes les données étaient correctement prises en compte.
"Notre méthode vise à évaluer le modèle que nous allons effectivement utiliser dans notre zone opérationnelle et ainsi garantir sa fiabilité", explique Hugues Turbé. Pour poursuivre la recherche, l'équipe a développé un ensemble de données synthétiques mis à la disposition de la communauté scientifique pour évaluer facilement toute nouvelle IA conçue pour interpréter des séquences dans Äas.
L'avenir de l'intelligence artificielle en médecine
L’équipe prévoit de tester leur méthode en milieu clinique, où la peur de l’IA est encore répandue. "Instaurer la confiance dans l'évaluation de l'intelligence artificielle est une étape clé vers l'acceptation en milieu clinique", explique le Dr. Mina Bjelogrlic, qui dirige l'équipe d'apprentissage automatique de la division Lovis et est co-auteur de cette étude. "Nos recherches se concentrent sur l'évaluation de l'IA basée sur des séquences temporelles, mais la même méthodologie pourrait être appliquée à l'IA basée sur d'autres types de données, telles que des données d'image ou de texte. L’objectif est d’assurer la transparence, la compréhensibilité et la fiabilité de l’IA pour les utilisateurs.»
Comprendre le fonctionnement interne de l’intelligence artificielle est essentiel pour instaurer la confiance dans son utilisation, en particulier dans des secteurs critiques tels que la médecine et la finance. La recherche, menée par une équipe de chercheurs de l’Université de Genève et de l’Université nationale de Singapour, propose une méthode innovante d’évaluation de la compréhension de l’intelligence artificielle qui aide les utilisateurs à comprendre pourquoi et comment les décisions sont prises. Cette approche est particulièrement importante pour les applications médicales, où les décisions prises par l’intelligence artificielle peuvent sauver des vies.
