Anthropic signale des détournements de Claude en biologie

Publié le 10 septembre, un rapport d'Anthropic consacré aux usages abusifs de ses modèles d'intelligence artificielle décrit plusieurs tentatives de détournement de Claude au cours des huit mois précédents. L'entreprise y recense des opérations d'escroquerie numérique, des activités de cyberespionnage, des campagnes de propagande ainsi que des demandes liées à la conception d'armes conventionnelles et de drones. Parmi les situations identifiées, les sollicitations associées à la recherche biologique retiennent particulièrement l'attention en raison de leur possible incidence sur la sécurité sanitaire.

Selon les éléments rapportés par la société américaine et relayés par le New York Times, certains utilisateurs auraient cherché à mobiliser les capacités du chatbot afin de faire progresser des travaux pouvant faciliter la modification ou la conception d'agents pathogènes. Ce type de risque figure désormais parmi les principaux sujets de vigilance pour les laboratoires qui développent des modèles généralistes à haut niveau de performance, capables d'assister la rédaction scientifique, l'analyse documentaire, la programmation ou la planification expérimentale.

Un cas lié au chikungunya Anthropic évoque notamment un cas survenu en mai. Un scientifique aurait demandé l'aide de Claude pour préparer une demande de financement portant sur des recherches consacrées au chikungunya, maladie virale transmise par certains moustiques. L'entreprise estime que le projet pouvait relever de travaux dits de gain de fonction, expression utilisée pour désigner des manipulations visant à étudier ou modifier les propriétés d'un organisme. De telles recherches peuvent contribuer à la prévention des épidémies, au développement de vaccins ou à une meilleure compréhension des mécanismes de transmission. Elles peuvent également accroître les capacités d'un agent infectieux et, dans certaines circonstances, présenter des risques de détournement.

Dans le cas signalé, la requête aurait porté sur une modification génétique destinée à renforcer la virulence du virus. Anthropic indique que la demande paraissait d'autant plus sensible qu'elle était associée à un institut de recherche militaire. L'entreprise ne rend publique ni l'identité du scientifique concerné ni celle de l'établissement, et ne conclut pas que les travaux envisagés avaient nécessairement une finalité militaire. Son responsable des menaces, Jacob Klein, a néanmoins souligné la difficulté d'établir une frontière nette entre la recherche légitime à double usage et un programme potentiellement offensif.

Les limites du contrôle géographique Le rapport met également en avant les limites des mécanismes de contrôle géographique. D'après Anthropic, certains demandeurs auraient contourné les restrictions censées empêcher l'accès à ses services depuis plusieurs territoires. Ce constat illustre une difficulté structurelle pour les fournisseurs de modèles d'IA : leurs systèmes sont distribués en ligne, leurs usages sont variés et l'intention réelle d'un utilisateur demeure souvent difficile à vérifier à partir d'une simple requête textuelle. La société affirme que les versions antérieures de Claude ne disposaient pas des capacités nécessaires pour contribuer efficacement à des recherches biologiques dangereuses. Elle assure avoir renforcé les garde-fous appliqués à ses modèles les plus avancés, désignés dans le rapport comme Fable et Mythos. Ces mesures reposent notamment sur la détection de requêtes sensibles, le refus de certaines formes d'assistance et le suivi d'activités jugées anormales.

Le cas exposé par Anthropic rappelle que le débat ne porte pas uniquement sur les contenus produits par les outils conversationnels, mais aussi sur leur rôle possible dans l'accélération de processus scientifiques complexes. La microbiologiste Susan Monarez a relevé, auprès du New York Times, que l'IA pouvait soutenir des avancées médicales significatives tout en facilitant, si elle était utilisée à mauvais escient, des travaux sur des agents pathogènes difficiles à maîtriser. Pour les entreprises du secteur, l'enjeu consiste désormais à concilier l'ouverture des outils de recherche avec des dispositifs de prévention suffisamment robustes pour limiter les usages à risque.