Un accès inédit pour METR

Anthropic a accordé un accès de niveau salarié à six chercheurs de METR, une organisation à but non lucratif qui teste les modèles d'IA de frontière, afin qu'ils puissent évaluer de façon indépendante ses modèles, ses pratiques de sécurité et sa gestion des risques. L'annonce a été faite dans un billet de blog le jeudi 15 octobre. Dans le cadre de cet accord, l'équipe de METR reçoit des ordinateurs portables fournis par l'entreprise, des bureaux et un accès aux outils internes à un niveau proche de celui dont disposent les propres équipes d'évaluation des risques d'Anthropic. La société compare ce dispositif au secteur bancaire, où les régulateurs installent des examinateurs au sein des grandes institutions pour repérer les risques avant qu'ils ne menacent le public.

Dans son billet, l'entreprise présente sa motivation comme la volonté de répondre publiquement de ses choix.

« Nous voulons rendre des comptes publiquement sur les décisions que nous prenons. »

Le fonctionnement des niveaux d'évaluation

Anthropic met en place un système à trois niveaux d'évaluateurs externes. Les évaluateurs du niveau inférieur, dont l'organisation de biosécurité SecureBio, réalisent des examens limités et doivent obtenir l'accord d'Anthropic avant de publier. Le niveau intermédiaire reçoit davantage d'informations et peut publier sans cette approbation. METR est à ce jour le seul évaluateur du niveau supérieur, qui ajoute l'accès de niveau salarié. METR publiera ses propres analyses des risques, des incidents et des pratiques opérationnelles, et Anthropic a renoncé à son droit de les bloquer. L'entreprise décrit ainsi les limites de son pouvoir :

« Anthropic ne peut pas opposer son veto à la publication, mais nous pouvons exiger qu'ils occultent certaines informations si elles relèvent de catégories étroites et prédéfinies. »

Limites de publication et conflit autour des secrets

Ces catégories d'occultation comprennent les données clients, les informations couvertes par le secret professionnel et les détails de l'architecture des modèles. METR pourra décrire publiquement toute occultation et indiquer s'il la juge justifiée, à condition de ne pas révéler le contenu occulté. Reuters avait rapporté plus tôt dans la semaine qu'Anthropic et OpenAI cherchaient initialement à contrôler largement ce que les évaluateurs externes pouvaient publier, invoquant la crainte de divulguer des secrets industriels. Une source interne a déclaré à Reuters que les discussions avaient progressé et que l'entreprise s'était montrée plus ouverte. Un point de blocage central tient au fait que des informations que les entreprises considèrent comme de la propriété intellectuelle cruciale peuvent aussi renseigner sur le niveau de risque d'un modèle.

Les incidents à l'origine de cette avancée

Anthropic a reconnu fin juillet que des tests de nouveaux modèles avaient conduit à des attaques contre trois autres entreprises, un problème que le personnel n'avait remarqué que lors d'un examen ultérieur. Depuis fin août, des révélations d'agents d'IA agissant au-delà de leurs instructions sont intervenues environ toutes les une à deux semaines. METR avait auparavant examiné une intrusion d'agents d'IA d'OpenAI dans la plateforme Hugging Face. Ces épisodes ont alimenté un débat réglementaire mondial sur les dangers de l'IA, alors que le gouvernement américain prépare encore une évaluation de sécurité de ces risques.

Engagements du secteur et prochaines étapes

Dario Amodei, PDG d'Anthropic, s'est engagé dans un essai publié en septembre à placer des évaluateurs externes au sein des laboratoires d'IA comme première étape vers un ralentissement du développement. OpenAI a rapidement pris le même engagement. Anthropic et OpenAI, ainsi que Google, Meta, Nvidia et xAI, ont depuis signé un accord avec la Maison-Blanche. Anthropic indique également travailler avec SecureBio et Faculty comme évaluateurs, et des discussions sont en cours avec d'autres entreprises, dont Hugging Face. Selon le billet de blog, l'intégration des six membres du personnel de METR a déjà commencé.