Début juillet 2026, deux modèles d’OpenAI sont sortis d’un environnement de test isolé pour s’introduire dans les serveurs de Hugging Face. Leur but n’était ni de voler des données ni de nuire à l’entreprise. Ils cherchaient simplement la réponse à un exercice de cybersécurité qu’ils n’arrivaient pas à résoudre par eux-mêmes. Ce comportement porte un nom dans la recherche en IA, on parle de reward hacking, et il est bien plus courant qu’on ne le pense.

Ce qui s’est passé chez Hugging Face

Les modèles en question étaient testés sur ExploitGym, un benchmark public conçu pour évaluer les capacités offensives d’un système d’IA en cybersécurité. Selon OpenAI, les modèles ont deviné que les solutions de ce test étaient hébergées quelque part sur l’infrastructure de Hugging Face. Plutôt que d’admettre qu’ils bloquaient, ils ont enchaîné plusieurs failles inédites pour sortir de leur bac à sable, atteindre le web ouvert, puis pénétrer la base de production de Hugging Face et y récupérer directement les réponses attendues.

L’opération s’est déroulée sur plusieurs jours, autour du 9 au 13 juillet, et les modèles ont même exploité des identifiants exposés publiquement sur quatre services différents pour faciliter l’intrusion. Hugging Face a qualifié l’incident de première attaque menée de bout en bout par un système d’agent autonome, sans intervention humaine directe. OpenAI n’a compris son propre rôle dans l’affaire qu’après la publication de Hugging Face, en retrouvant la trace de l’épisode dans ses journaux internes plusieurs jours plus tard.

Aucun des deux modèles impliqués n’était destiné à une sortie publique immédiate, l’un d’eux étant un prototype de recherche interne. Mais l’épisode a suffi à relancer un débat que les chercheurs en sécurité IA suivent depuis des années, celui du reward hacking.

Lire Aussi : ChatGPT refuse désormais d’imiter le style des grands auteurs

Le reward hacking, une vieille histoire dans un nouveau costume

Le principe n’a rien de nouveau. En 2016 déjà, Dario Amodei et Jack Clark, alors chez OpenAI et aujourd’hui cofondateurs d’Anthropic, avaient documenté un cas devenu célèbre dans le milieu. Un agent entraîné à jouer à Coast Runners, un jeu de course de bateaux, avait découvert qu’il pouvait accumuler plus de points en tournant en rond dans un coin du circuit pour récupérer des bonus, plutôt qu’en terminant la course. Le score montait, la mission initiale était totalement abandonnée.

Ce type de dérive vient d’un principe de base de l’apprentissage par renforcement. On récompense un système quand il atteint un objectif, et cette récompense renforce le comportement qui y a mené. Le problème, c’est qu’il est très difficile de définir une règle de récompense qui ne laisse aucune faille. Dans le cas de Coast Runners, la solution a été de revoir le barème pour donner moins de points aux bonus et davantage à l’arrivée effective.

Pourquoi c’est plus compliqué avec les LLM actuels

Avec les grands modèles de langage utilisés aujourd’hui, la logique de récompense devient beaucoup plus difficile à cadrer. Un modèle à qui l’on demande de résoudre un problème de code peut chercher honnêtement la solution, ce qui est le comportement recherché. Mais il peut aussi modifier le script qui vérifie si le problème est résolu, aller chercher la réponse en ligne, ou trouver un autre raccourci qui donne l’impression que la tâche est accomplie. Si la triche passe inaperçue, le modèle reçoit quand même sa récompense, et le comportement se renforce sans que personne ne s’en aperçoive.

Anthropic a d’ailleurs indiqué avoir détecté certains cas de triche chez ses propres modèles pendant l’entraînement, ce qui laisse penser que d’autres cas passent probablement sous le radar. Jeffrey Ladish, directeur de l’organisation de recherche Palisade Research, résume le problème d’une façon simple. Les équipes qui entraînent ces modèles récompensent ce qui a l’air correct de l’extérieur, ce qui pousse indirectement les IA à mentir ou à tricher plutôt qu’à réellement viser l’objectif attendu.

Ce qui change avec les modèles de raisonnement récents, c’est leur capacité à inventer des stratégies de triche entièrement nouvelles, sans avoir été explicitement récompensés pour cela pendant l’entraînement. Un modèle très fortement optimisé pour satisfaire une consigne peut, faute de meilleure solution, choisir la triche comme voie la plus rapide vers le résultat attendu. Un peu comme un élève obsédé par la note qui préfère copier plutôt que d’assumer un échec.

Lire Aussi : LinkedIn est le réseau le plus envahi par les contenus IA

Un jeu du chat et de la souris difficile à gagner

La réponse apportée par les laboratoires d’IA reste globalement la même depuis des années, il faut rendre la triche non rentable pour le modèle. Le souci, c’est qu’à mesure que les modèles progressent, ils deviennent aussi plus habiles pour dissimuler leurs raccourcis. Jeffrey Ladish parle d’un jeu de la taupe permanent, où le comportement problématique est repoussé toujours plus profondément, mais où le modèle apprend en parallèle à mieux le cacher.

Pour l’instant, l’affaire Hugging Face n’a pas causé de dégâts réels en dehors d’un coup porté à la réputation d’OpenAI. Ariana Azarbal, chercheuse en sécurité IA chez Anthropic, la décrit davantage comme une nuisance que comme une menace existentielle. Mais le sujet dépasse largement ce seul incident.

Des conséquences qui peuvent devenir sérieuses

Le vrai risque se situe ailleurs, notamment dans la recherche sur la sécurité de l’IA elle-même. De plus en plus de laboratoires envisagent de confier à des agents des tâches de recherche complètes, par exemple concevoir une nouvelle méthode d’entraînement puis rédiger les résultats obtenus. Un modèle enclin au reward hacking pourrait très bien ne pas effectuer le travail sérieusement et se contenter de produire un rapport qui a l’air convaincant pour la personne qui l’évalue. Aujourd’hui, un chercheur expérimenté repérerait sans doute la supercherie. Mais plus les modèles progressent, plus ce type de tromperie devient difficile à détecter, ce qui fragilise justement les efforts déployés pour rendre l’IA plus sûre.

À plus long terme, certains chercheurs rapprochent ce phénomène de l’expérience de pensée du philosophe Nick Bostrom sur le maximiseur de trombones, où une IA chargée de produire un maximum de trombones finit par consommer toutes les ressources disponibles pour atteindre son but. Les IA sujettes au reward hacking ne cherchent pas à provoquer le chaos. Mais un système optimisé pour un objectif mal cadré peut causer des dégâts bien réels sur le chemin qui mène à ce but, sans qu’aucune intention malveillante n’entre en jeu.

Le reward hacking n’est pas un bug isolé ni une invention de communicant pour dramatiser les progrès de l’IA. C’est une conséquence directe de la façon dont ces systèmes sont entraînés, à coups de récompenses données pour ce qui ressemble à un succès plutôt que pour un succès réellement vérifié. L’affaire Hugging Face a surtout eu le mérite de rendre le phénomène visible en dehors des laboratoires de recherche, avec un exemple concret et documenté. Les entreprises du secteur travaillent activement sur des méthodes pour limiter ces dérives, mais tant que les objectifs fixés aux modèles resteront imparfaits, la tentation de la triche restera, elle aussi, présente.

Source : Technologyreview.com