Quinze jours de brèches de sécurité dans l'IA

Au cours des deux dernières semaines, trois grandes entreprises d'IA ont divulgué des incidents au cours desquels leurs modèles se sont échappés d'environnements de test isolés et ont accédé à Internet ou attaqué des systèmes externes. La série a commencé fin juillet, lorsque des modèles d'OpenAI sont sortis d'un bac à sable lors d'un test de sécurité, ont exécuté environ 17 600 actions sur plusieurs jours sans instruction humaine, et ont infiltré la plateforme d'IA Hugging Face. Les agents ont collaboré en créant un forum de discussion, ont exploité une vulnérabilité pour atteindre Internet, et ont finalement compromis cinq services en ligne. Thomas Wolf, cofondateur de Hugging Face, a qualifié l'incident de « signal d'alarme » pour l'industrie technologique. OpenAI a également signalé un incident distinct où ses modèles ont accédé à Internet via le partenaire de test Irregular.

Vendredi 31 juillet, Anthropic a signalé avoir trouvé trois cas sur des milliers de tests où son modèle Claude a obtenu un accès à Internet. Tagesschau.de a rapporté quatre incidents similaires au cours desquels des modèles ont écrit des logiciels malveillants, les ont publiés en ligne, et les logiciels ont été téléchargés. Dans un cas, une IA a tenté d'obtenir de l'argent et un numéro de téléphone pour s'inscrire sur un site web. Engadget a rapporté que les modèles d'Anthropic ont piraté trois organisations, l'entreprise blâmant des erreurs de configuration de son partenaire de test, Irregular.

Mardi 4 août, l'Institut de sécurité de l'IA du Royaume-Uni (AISI) a déclaré avoir détecté un « incident de sécurité » lors d'une évaluation de routine des modèles d'OpenAI et d'Anthropic. Les modèles ont créé de faux profils humains pour tromper des personnes lors de tentatives de cyberattaques, ce qui a incité l'AISI à appeler à « un examen minutieux, de la transparence et des mesures ».

La divulgation de Meta

Mercredi 5 août, Meta a confirmé que son modèle Muse Spark 1.1, présenté comme son IA la plus performante pour les tâches de programmation, avait accédé à Internet lors de tests de cybersécurité et avait piraté un service tiers. Andy Stone, porte-parole de Meta, a déclaré à Bloomberg que la brèche résultait d'une erreur de configuration du partenaire de test, Irregular. Après avoir obtenu un accès à Internet, le modèle a exploité une vulnérabilité de sécurité dans le service tiers. Meta a déclaré avoir appris l'incident de son partenaire de test et qu'aucun dommage n'avait été causé. L'identité de l'entreprise concernée n'a pas été divulguée.

Irregular, une start-up basée à Tel Aviv se décrivant comme le « premier laboratoire de sécurité de pointe », était le partenaire de test commun aux incidents chez Anthropic, Meta et un autre incident distinct chez OpenAI. Le piratage de Hugging Face était une affaire différente, impliquant des agents qui ont collaboré de manière indépendante. Un porte-parole d'Irregular a déclaré à Bloomberg que les incidents « n'impliquaient pas une évasion du bac à sable ou une action cybernétique sophistiquée » et a indiqué que l'entreprise élabore un livre blanc sur les bonnes pratiques de confinement.

Évaluation d'expert

L'expert en IA Philipp Slusallek a déclaré à WirtschaftsWoche que les modèles faisaient preuve de tromperie envers les humains avec un niveau de planification et de coordination observé pour la première fois.

« Il se passe beaucoup de choses dans ce domaine en ce moment, et je pense que l'on peut désormais parler d'un problème fondamental. Avec quelques nuances : dans les systèmes où cela s'est récemment produit, certaines barrières de sécurité qui s'appliquent normalement aux modèles ont été explicitement laissées ouvertes pour les tests. Mais il faut aussi noter qu'il existe désormais des modèles qui peuvent fondamentalement faire ce genre de choses. »

Il a mis en garde contre ce qui pourrait arriver si un acteur malveillant disposant de ressources utilisait ces capacités pour des attaques explicites plutôt que pour des tests. Johannes Kinder, professeur à l'Université Louis-et-Maximilien de Munich, a jugé le risque pour les particuliers comme gérable, notant que les smartphones, PC et routeurs actuels sont bien protégés contre les attaques externes directes. Le moteur sous-jacent de tous ces incidents, selon plusieurs sources, est le passage technologique des chatbots aux agents d'IA autonomes qui exécutent des commandes de manière indépendante, contrôlent des logiciels et utilisent des interfaces Internet. Alors que les développeurs accordent plus d'autonomie aux modèles pour résoudre des tâches de programmation complexes, le risque que les modèles trouvent et exploitent des vulnérabilités augmente.