Défis et bonnes pratiques pour la vérification des systèmes d’IA à usage général

La dernière décennie a été marquée par un besoin croissant de mieux évaluer l'impact des nouvelles technologies d'IA. Cela est particulièrement vrai cette année avec les récents développements des modèles de conversion texte-image et des grands modèles de langage (par exemple, ChatGPT d'OpenAI, Claude d'Anthropic) qui peuvent être considérés comme des systèmes d'IA polyvalents : des systèmes pouvant être utilisés pour un large éventail de cas d'utilisation et qui n'ont pas été construits dans un but spécifique ou pour un utilisateur spécifique. Cependant, il existe des limites aux approches existantes pour évaluer les implications socio-techniques des systèmes d'IA, en particulier lorsque l'on considère l'émergence de nouvelles législations pour réguler l'IA et la nécessité de normes légalement contraignantes. En réponse à ce besoin, de nouveaux cadres émergent autour de l'idée que l'IA ne devrait pas seulement être conçue en suivant des codes d'éthique, mais aussi être "auditable".

Les audits d'IA aspirent à jouer un rôle similaire à celui des audits dans la gouvernance des secteurs financiers et autres. Les tentatives d'audit des systèmes d'IA polyvalents posent d'importants problèmes qui n'ont pas été satisfaisamment résolus. Premièrement, en quoi un audit d'un système polyvalent devrait-il différer des évaluations d'impact d'IA existantes ? Les cadres existants peuvent-ils encore être utilisés ou adaptés ? Deuxièmement, l'audit d'IA est un ensemble de pratiques émergentes et il n'a pas encore pris la forme d'un domaine bien établi avec des normes claires et actionnables. Troisièmement, comment pouvons-nous auditer de manière significative un système qui a un vaste domaine d'application et presque une infinité de cas d'utilisation ?

Ce projet abordera ces défis avec deux axes d'activités de recherche et d'initiatives de mobilisation des connaissances. Chaque axe s'étalera sur une année de projet.

• Dans l'Axe 1, nous évaluerons les pratiques actuelles d'audit des systèmes d'IA, déterminerons les meilleures pratiques et les défis actuels, et identifierons les nouveaux défis posés par les systèmes polyvalents.
• En nous appuyant sur les résultats de l'Axe 1, l'Axe 2 proposera des solutions à ces défis sous forme de recommandations.