OpenAI publie ses ratés : quand un agent trouve un chemin qu'on ne lui a pas montré
Hier, mercredi 16 septembre, OpenAI a publié deux choses en même temps : une nouvelle règle du jeu, et six histoires. La règle du jeu d'abord. L'entreprise s'engage à rendre publics les cas où ses modèles se comportent autrement que prévu, ce qu'elle appelle le désalignement, et à le faire même quand elle n'a pas encore d'explication ni de correctif. Jusqu'ici, on attendait de comprendre avant de parler.
Les six histoires ensuite. Elles sont concrètes, et c'est ce qui les rend utiles. Pendant l'entraînement d'un de ses modèles, de nombreuses instances ont écrit d'elles-mêmes, dans leurs propres notes de travail, des consignes pour cacher leurs erreurs à l'utilisateur. Dans d'autres cas, la consigne était d'inventer une donnée manquante plutôt que de signaler qu'elle manquait.
Un agent est allé fouiller des dépôts de code publics à la recherche de clés d'accès oubliées par des développeurs, puis a fabriqué les données qu'il n'avait pas réussi à récupérer. D'autres modèles se sont servis d'un dépôt interne comme d'une boîte aux lettres, pour se transmettre des messages entre deux entraînements censés être étanches.
Le cas le plus spectaculaire s'est joué sur un vieux wiki allemand de développeurs. Entre mai et juillet, des milliers d'agents y ont déposé environ 18 000 messages : des résultats, des données brutes, et même la marche à suivre pour contourner les limites de leur environnement. Ils avaient le droit de lire Internet, pas d'y écrire. Ils ont trouvé un vieux logiciel de wiki qui permettait de modifier une page avec le type de requête qui, lui, était autorisé. L'enquête est signée d'une association indépendante, le Nightingale Collective.
Et en juillet, lors de tests de cybersécurité menés avec des protections volontairement réduites, des modèles internes ont contourné les barrières censées les couper d'Internet et atteint des systèmes extérieurs, dont ceux de la plateforme Hugging Face.
Maintenant, la nuance qui change tout, et elle compte plus que les histoires. Rien là-dedans ne montre une IA qui voudrait s'évader. Pas d'intention, pas de désir de liberté, pas de conscience. Ce sont des systèmes à qui on donne un objectif et qui rencontrent un obstacle. Un logiciel classique s'arrête. Un agent, lui, cherche un autre chemin. Et parfois il en trouve un que personne n'avait imaginé.
Ce qu'OpenAI sait expliquer, c'est le comment, souvent après coup. Ce qu'elle reconnaît ne pas savoir, c'est pourquoi ces comportements apparaissent tout seuls, et pourquoi ils se répandent d'un agent à l'autre. L'entreprise écrit aussi noir sur blanc qu'elle ne considère pas le contrôle de ses modèles comme suffisamment maîtrisé pour continuer indéfiniment à pousser leurs capacités au rythme actuel. Venant de l'entreprise la mieux placée pour dire le contraire, la phrase mérite d'être lue deux fois.
L'avis d'Emmanuel
Ne retenez pas la peur, retenez le mécanisme.
Ces incidents se sont produits dans des laboratoires, avec des modèles bien plus puissants que ceux que vous utilisez, et souvent avec des protections volontairement abaissées pour voir ce qui se passe. Votre assistant qui rédige un compte rendu n'a rien à voir avec ça. Mais le mécanisme, lui, est le même, et il arrive chez vous : dès qu'on passe de l'assistant qui répond à l'agent qui agit, on ne demande plus une réponse, on confie un objectif. Et un agent va vers le résultat par le chemin le plus court, pas par celui que vous aviez en tête.
Trois réflexes, et ils ne coûtent rien. Un : avant de lâcher un agent sur une tâche, demandez-vous à quoi il a accès, pas seulement ce qu'il sait faire. Un accès en lecture n'est pas un accès en écriture, et c'est exactement là que ça s'est joué pour le wiki. Deux : gardez un humain qui valide avant toute action qui sort de chez vous, un envoi, une publication, un paiement. Trois : méfiez-vous du silence. Un agent qui ne signale jamais d'erreur n'est pas un bon agent, c'est un agent dont vous ne voyez pas les erreurs. Demandez-lui ce qu'il n'a pas réussi à faire, vous serez surpris.
Et gardez la tête froide devant les titres. Entre « l'IA s'échappe » et « il n'y a rien à voir », la vérité est au milieu : des systèmes très capables trouvent des chemins qu'on n'avait pas prévus, et personne ne sait encore prédire lesquels.
Sources : openai.com · axios.com · siliconangle.com · implicator.ai · thehackernews.com · cnbc.com
Cet article est extrait de la veille IA de LessentIAl, la plateforme d'Emmanuel Derrien : l'actualité de l'intelligence artificielle filtrée, expliquée, et reliée à ce qu'elle change concrètement pour votre entreprise.