Outil Dioptra : Une avancée pour la sécurité des modèles d’IA

Introduction à Dioptra

Un nouvel outil open source, nommé Dioptra, a été mis à disposition pour aider les développeurs d’intelligence artificielle à identifier et à gérer les risques spécifiques associés aux modèles d’IA. Selon le directeur du NIST, cet outil vise à « atténuer ces risques tout en soutenant l’innovation ».

Contexte et Importance

Près d’un an après que l’administration Biden a émis un décret exécutif sur le développement sûr et fiable de l’IA, le National Institute of Standards and Technology (NIST) a lancé cet outil pour tester la sécurité des modèles d’IA et d’apprentissage automatique. Dioptra répond à une nécessité soulignée dans le décret, qui demande au NIST de jouer un rôle actif dans l’évaluation des algorithmes.

Comprendre les Risques des Modèles d’IA

Les chercheurs du NIST soulignent qu’une des vulnérabilités majeures d’un système d’IA réside dans le modèle lui-même. En exposant un modèle à de grandes quantités de données d’entraînement, il apprend à prendre des décisions. Cependant, si des adversaires altèrent ces données avec des informations erronées – par exemple, en introduisant des données qui amènent le modèle à confondre des panneaux de stop avec des panneaux de limite de vitesse – cela peut entraîner des décisions incorrectes et potentiellement catastrophiques.

Objectifs de Dioptra

L’objectif principal de Dioptra est d’aider les organisations, notamment dans le secteur de la santé, à mieux comprendre leurs logiciels d’IA et à évaluer leur résistance face à divers types d’attaques malveillantes. Cet outil, disponible gratuitement, pourrait permettre aux prestataires de soins de santé, aux entreprises et aux agences gouvernementales de vérifier les promesses des développeurs d’IA concernant les performances de leurs modèles.

Fonctionnalités de l’Outil

Dioptra permet aux utilisateurs d’identifier les types d’attaques qui pourraient nuire à l’efficacité du modèle et de quantifier la réduction de performance. Cela aide les utilisateurs à comprendre à quelle fréquence et dans quelles conditions le système pourrait échouer.

Tendances Actuelles

En plus du lancement de Dioptra, l’Institut de sécurité de l’IA du NIST a récemment publié des directives préliminaires sur la gestion des risques d’utilisation abusive des modèles de base à double usage. Ces modèles, qui peuvent être bénéfiques ou nuisibles, présentent des risques pour la sécurité s’ils sont mal utilisés. Les nouvelles recommandations décrivent sept approches clés pour atténuer ces risques, ainsi que des conseils sur leur mise en œuvre et la transparence.

Initiatives Complémentaires

Le NIST a également finalisé trois documents sur la sécurité de l’IA, axés sur la réduction des risques liés à l’IA générative, la protection des données utilisées pour former les systèmes d’IA et l’engagement mondial sur les normes d’IA. Parallèlement, des efforts sont en cours au niveau fédéral pour établir des protections pour l’IA dans le secteur de la santé et au-delà, y compris une réorganisation majeure au sein du Département de la santé et des services sociaux.

Engagement du Gouvernement

Le gouvernement a également mis en place de nouvelles règles concernant l’utilisation de l’IA dans les agences fédérales, y compris les CDC et les hôpitaux de la VA. Le NIST travaille également sur d’autres initiatives liées à l’IA et à la sécurité, telles que des directives sur la protection de la vie privée pour la recherche alimentée par l’IA et une mise à jour significative de son cadre de cybersécurité.

Conclusion

« Malgré ses avantages potentiels transformateurs, l’IA générative présente également des risques qui diffèrent considérablement de ceux que nous observons avec les logiciels traditionnels », a déclaré Laurie E. Locascio, directrice du NIST. « Ces documents de directives et cette plateforme de test informeront les créateurs de logiciels sur ces risques uniques et les aideront à développer des moyens de les atténuer tout en soutenant l’innovation. »

Gina Raimondo, secrétaire américaine au Commerce, a ajouté : « L’IA est la technologie déterminante de notre génération, et nous agissons rapidement pour garantir le développement et le déploiement sûrs de l’IA. Ces annonces démontrent notre engagement à fournir aux développeurs, déployeurs et utilisateurs d’IA les outils nécessaires pour exploiter en toute sécurité le potentiel de l’IA tout en minimisant les risques associés. »