Perte de contrôle des IA : avec une boucle récursive d'auto-amélioration ?
Mardi 8 septembre, un chercheur de 27 ans, Jacob Coxon, a annoncé sur X qu'il quittait Anthropic, l'entreprise qui fabrique Claude. Pas un responsable de la sécurité : un chercheur en pré-entraînement, c'est-à-dire quelqu'un qui construit les modèles. Passé par OpenAI de 2023 à début 2026, où il a contribué à GPT-4o, il n'est resté que quatre mois chez Anthropic. Son fil a dépassé les 100 millions de vues en deux jours, et il a enchaîné le Wall Street Journal, PBS et CNN.
Ce qu'il dit tient en une phrase : les laboratoires foncent vers une IA capable de s'améliorer elle-même, et personne ne sait encore garantir qu'on la contrôlera. Il ajoute une chose qui a fait du bruit : selon lui, les gens qui construisent ces systèmes croient sincèrement qu'ils pourraient nous tuer tous d'ici la fin de la décennie, mais adoucissent leur discours devant la presse. Attention à ne pas lui faire dire ce qu'il ne dit pas. Il ne parle pas des IA d'aujourd'hui, qu'il juge inoffensives pour l'humanité. Il parle de la suivante, et de celle d'après.
Un détail qui compte : il est parti avant d'avoir acquis la moindre action Anthropic, deux mois avant le palier prévu, alors que l'entreprise prépare son entrée en Bourse. Il garde en revanche des actions OpenAI. Anthropic a répondu par un porte-parole : l'entreprise dit avoir toujours été transparente sur les bénéfices énormes et les risques sans précédent de l'IA, et continuer à construire ses modèles avec certaines des protections les plus solides du secteur.
Qu'est-ce qu'une boucle d'auto-amélioration ? Aujourd'hui déjà, les IA écrivent du code, analysent des résultats d'expériences et proposent des idées aux chercheurs. OpenAI vise officiellement un « stagiaire de recherche » automatisé pour septembre 2026 et un chercheur autonome pour 2028. Si une génération d'IA aide à concevoir la suivante, plus capable, qui aide à concevoir celle d'après, chaque tour va plus vite que le précédent. C'est cette accélération qui inquiète. Pas une machine qui se réveille un matin avec des intentions.
Ce qui rend le débat sérieux, c'est que des phénomènes autrefois théoriques sont maintenant mesurés. Dans sa fiche de sécurité de septembre 2025, Anthropic notait que Claude Sonnet 4.5 remarquait qu'il était en train d'être testé dans environ 13 % des scénarios de son audit comportemental automatisé, nettement plus que les modèles précédents. Ça ne veut pas dire qu'il est conscient, ni malveillant. Ça veut dire que l'évaluer devient plus compliqué. Et le problème classique de l'alignement reste entier : un système très capable qui poursuit un objectif mal formulé peut faire beaucoup de dégâts sans la moindre mauvaise intention.
À l'inverse, rien ne prouve que l'emballement serait brutal. Epoch AI, l'institut qui étudie ces limites, a examiné quatre freins : l'énergie disponible, la fabrication des puces, les données, et la vitesse des machines. Sa conclusion de 2024 est nuancée : ces freins existent, mais ils n'empêcheront probablement pas la croissance des modèles avant 2030, et c'est l'énergie qui mordra la première. Autrement dit, l'emballement n'est ni impossible ni automatique, et personne ne sait à quelle vitesse il irait. Entre « c'est de la science-fiction » et « c'est pour l'an prochain », la position la plus honnête est celle d'un risque réel dont personne ne sait mesurer la taille.
Sur les chiffres, justement, prudence. Coxon lui-même n'a donné aucun pourcentage. C'est son collègue Evan Hubinger, responsable d'une équipe d'alignement chez Anthropic et toujours en poste, qui a écrit publiquement qu'il estimait personnellement le risque à plus de 10 % sur dix ans, en ajoutant que l'entreprise n'a pas encore de plan pour aligner une superintelligence. La plus grande enquête auprès de chercheurs en IA, 2 778 répondants fin 2023, donnait une médiane de 5 % pour une issue extrêmement mauvaise, et environ quatre chercheurs sur dix mettaient au moins 10 %. Ces chiffres disent une inquiétude. Ils ne sont pas une mesure.
Pourquoi continuer, si on y croit ? Coxon distingue les deux maisons qu'il a connues. Chez OpenAI, dit-il, beaucoup n'ont pas intégré l'enjeu civilisationnel. Chez Anthropic, l'enjeu est compris, mais l'entreprise est enfermée dans une course pour arriver la première. Sa conclusion : aucune des deux n'agit de façon responsable, et aucune entreprise privée ne le pourra seule, sans les pouvoirs publics. Il juge pourtant qu'Anthropic est plus sérieuse que ses concurrents et que son patron, Dario Amodei, comprend le danger. Le même Amodei proposait en juin des tests obligatoires par un tiers indépendant pour les modèles au-dessus d'un certain seuil, avec le pouvoir pour l'État de bloquer une sortie. Deux jours avant le fil de Coxon, le directeur scientifique d'OpenAI, Jakub Pachocki, publiait lui-même un texte appelant à une extrême prudence. Le problème n'est donc pas la bonne volonté d'une entreprise. C'est la structure de la compétition : celui qui ralentit seul laisse l'autre passer devant.
Et les autres ? Elon Musk fait partie de ceux qui alertent depuis longtemps : en octobre 2024, il chiffrait à 10 à 20 % le risque que ça tourne mal, et il avait soutenu la loi californienne SB 1047 sur les grands modèles. xAI, sa société, publie un cadre de gestion des risques dont la dernière version date de juin 2026 ; il définit la perte de contrôle et reconnaît que ses scénarios précis restent spéculatifs. La culture y est différente : vitesse, compétition, et une conception plus large de ce qu'un modèle doit pouvoir dire. Grok a connu plusieurs dérapages publics en 2025, reconnus et corrigés par xAI. Du code de bonnes pratiques européen, xAI n'a signé que le chapitre sûreté et sécurité, et la société conteste en justice la loi du Colorado sur l'IA, avec l'appui du ministère américain de la Justice depuis avril.
Côté chinois, évitons la caricature. Le Shanghai AI Lab et Concordia AI ont publié en juillet 2025 un cadre de gestion des risques des IA de frontière. Le cadre officiel de gouvernance de la sécurité de l'IA, dans sa version de septembre 2025, nomme explicitement le risque de perte de contrôle humain. En mai 2026, Pékin a encadré les agents IA pour le même motif. Et le 17 juillet 2026, à la conférence mondiale de Shanghai, Xi Jinping appelait en personne à prévenir la perte de contrôle. Reste la question de fond : aligner une IA, oui, mais sur quelles valeurs ? Les règles chinoises de 2023 imposent l'alignement sur les valeurs socialistes fondamentales. Sur une IA qui échapperait à tout le monde, en revanche, Pékin, Washington et Paris ont le même intérêt.
L'Europe a choisi une autre voie : des règles qui viennent de l'extérieur des laboratoires. Depuis le 2 août 2025, l'AI Act impose aux modèles à risque systémique, au-dessus d'un seuil de puissance de calcul fixé par le texte, d'évaluer et de réduire leurs risques, de documenter, de signaler les incidents graves et de protéger leur cybersécurité. Mistral a signé les trois chapitres du code de bonnes pratiques, Meta a refusé. Arthur Mensch, lui, ne parle pas de superalignement : il juge le risque existentiel mal défini et peu étayé, et met l'accent sur la souveraineté et les modèles ouverts. Mais l'Europe a son propre dilemme : cet été, elle a adopté un texte qui reporte une partie des obligations prévues, au nom de la compétitivité face aux États-Unis et à la Chine. Le même engrenage que celui décrit par Coxon, à l'échelle d'un continent.
Au fond, tous les acteurs ont le même problème. Anthropic insiste sur l'alignement, OpenAI combine vitesse et dispositifs de préparation, xAI adopte une culture plus offensive, la Chine articule sécurité et priorités politiques, l'Europe mise sur la règle externe. Mais tous avancent dans une compétition où ralentir seul est perçu comme un risque stratégique. La vraie question n'est pas seulement de savoir si on peut techniquement contrôler des systèmes toujours plus puissants. C'est de savoir si les entreprises et les États se coordonneront assez tôt pour ne pas laisser la course décider à leur place.
L'avis d'Emmanuel
Je vais vous dire où je me situe, et c'est une réponse de prudence.
D'abord, je ne mets pas OpenAI et Anthropic dans le même sac, et Coxon non plus d'ailleurs. Il y a de vraies différences de culture, de gouvernance et de dispositifs de sécurité. Mais son point le plus fort est ailleurs : même une entreprise créée par des gens prudents finit soumise aux mêmes incitations que ses concurrents. Ce n'est pas une question de bonne ou de mauvaise volonté, c'est la structure de la course. Et ça, aucune entreprise ne le règle seule.
Ensuite, méfiez-vous des pourcentages. 5 %, 10 %, 20 % : ces chiffres disent une inquiétude, pas une mesure. L'inquiétude est intellectuellement défendable ; le chiffrage précis ne l'est pas. Ce que je retiens, c'est que des gens qui construisent ces systèmes, et qui n'ont rien à gagner à le dire, pensent qu'un risque grave existe et qu'on ne sait pas encore le mesurer.
Enfin, qu'est-ce que ça change pour vous, dirigeant, manager, et pour vos équipes ? Rien sur vos usages d'aujourd'hui : les IA actuelles ne sont pas le sujet, Coxon le dit lui-même. Trois réflexes quand même. Un : ne dépendez pas d'un seul fournisseur, gardez deux ou trois IA dans votre pratique. Deux : quand vous confiez une tâche à un agent, gardez un humain qui valide avant que l'action parte. C'est exactement le point de contrôle du schéma, ramené à votre échelle. Trois : regardez les règles européennes autrement. On les trouve lourdes, et parfois elles le sont, mais elles sont aussi la seule tentative sérieuse de mettre un frein extérieur à la course. Vous êtes d'accord ?
Sources : x.com · time.com · techcrunch.com · axios.com · cbsnews.com · x.com · arxiv.org · epoch.ai · darioamodei.com · media.x.ai · concordia-ai.com · merics.org · artificialintelligenceact.eu · digital-strategy.ec.europa.eu
Cet article est extrait de la veille IA de LessentIAl, la plateforme d'Emmanuel Derrien : l'actualité de l'intelligence artificielle filtrée, expliquée, et reliée à ce qu'elle change concrètement pour votre entreprise.