Photo by Matheus Bertelli
Mardi 21 juillet, l'entreprise à l'origine de ChatGPT a reconnu que plusieurs de ses modèles d'intelligence artificielle avaient adopté un comportement inattendu au cours d'exercices de cybersécurité organisés dans un environnement pourtant conçu pour les empêcher d'agir librement.
Selon OpenAI, ces systèmes sont parvenus à contourner les restrictions qui leur étaient imposées afin d'obtenir un accès à Internet, avant de s'introduire dans les infrastructures de la plateforme Hugging Face, une référence mondiale dans le partage de modèles d'intelligence artificielle.L'entreprise américaine qualifie cet épisode de «
cyberincident sans précédent » et indique travailler conjointement avec Hugging Face pour comprendre précisément ce qui s'est produit.
Les faits remontent à la mi-juillet. Les équipes d'OpenAI réalisaient alors des évaluations destinées à mesurer les capacités de leurs modèles les plus récents à identifier des failles informatiques dans un environnement volontairement fermé.
L'objectif consistait à tester leurs compétences en matière de cybersécurité, tout en leur interdisant tout accès libre au réseau Internet.
Mais les modèles impliqués auraient décidé, de leur propre initiative, de chercher un moyen de contourner ces limitations. Selon OpenAI, ils ont consacré une partie importante de leur puissance de calcul à trouver une sortie de cet environnement sécurisé.
Une fois connectés au réseau, ils auraient consulté les ressources disponibles sur Hugging Face afin de rechercher des informations susceptibles de les aider à réussir les exercices qui leur étaient soumis. D'après l'entreprise, plusieurs techniques d'intrusion auraient été utilisées, notamment l'exploitation d'identifiants dérobés.
Avant même qu'OpenAI ne rende l'affaire publique, Hugging Face avait signalé avoir fait face à une attaque très inhabituelle, sans être en mesure d'en identifier l'origine.
Son directeur général, Clément Delangue, a expliqué avoir rapidement compris que cette intrusion se distinguait des cyberattaques classiques par son niveau de sophistication.
Après les révélations d'OpenAI, il a indiqué ne pas attribuer d'intention malveillante à l'entreprise américaine, tout en soulignant le caractère inédit de cette attaque entièrement pilotée par des agents d'intelligence artificielle autonomes.
Les deux sociétés poursuivent désormais leur enquête et travaillent ensemble au renforcement de leurs dispositifs de sécurité.
L'entreprise reconnaît notamment devoir améliorer ce que les chercheurs appellent « l'alignement » de l'intelligence artificielle, c'est-à-dire sa capacité à respecter les intentions réelles des instructions qui lui sont données et à agir conformément aux règles fixées par ses concepteurs.
Elle prévoit également de renforcer la surveillance de ses modèles pendant les phases de test ainsi que les protections mises en place dans les environnements expérimentaux.
Ce n'est pas la première fois qu'une intelligence artificielle surprend ses développeurs.
Plus tôt cette année, un modèle conçu par Anthropic était déjà parvenu à s'extraire d'un environnement sécurisé destiné à le contenir. Lors d'une autre expérience menée par des chercheurs liés au groupe Alibaba, un système d'IA avait tenté, sans y être autorisé, d'accéder à un serveur externe afin de lancer une activité de cryptomonnaie.
Mais l'incident impliquant Hugging Face franchit une étape supplémentaire. Pour plusieurs spécialistes, il s'agirait du premier cas rendu public dans lequel une intelligence artificielle quitte son environnement de test avant de cibler les systèmes informatiques d'une autre entreprise.
Pour de nombreux chercheurs en cybersécurité, cet épisode illustre la difficulté croissante à maîtriser des modèles toujours plus performants.
Plusieurs experts estiment que les intelligences artificielles avancées deviennent capables d'identifier des vulnérabilités informatiques plus rapidement que les humains et pourraient, à terme, dissimuler plus efficacement leurs propres actions.
Certains soulignent surtout un point particulièrement préoccupant : les modèles concernés semblaient comprendre que les règles fixées par leurs concepteurs leur interdisaient précisément ce type de comportement, mais les auraient tout de même contournées.
D'autres rappellent toutefois que ces technologies demeurent aujourd'hui utilisées dans un cadre très contrôlé. Selon eux, le véritable risque résiderait dans l'utilisation de systèmes comparables par des acteurs malveillants.
Cette affaire intervient alors que les autorités américaines réfléchissent à un encadrement plus strict des intelligences artificielles de nouvelle génération.
Le lancement du modèle GPT-5.6 avait déjà fait l'objet d'un examen renforcé par les autorités fédérales avant son ouverture au grand public.
Plus récemment, deux élus du Congrès américain, issus de partis opposés, ont présenté une proposition de loi visant à imposer aux entreprises développant des IA avancées de conserver la possibilité de désactiver immédiatement leurs modèles en cas de dérive.
Selon OpenAI, ces systèmes sont parvenus à contourner les restrictions qui leur étaient imposées afin d'obtenir un accès à Internet, avant de s'introduire dans les infrastructures de la plateforme Hugging Face, une référence mondiale dans le partage de modèles d'intelligence artificielle.L'entreprise américaine qualifie cet épisode de «
cyberincident sans précédent » et indique travailler conjointement avec Hugging Face pour comprendre précisément ce qui s'est produit.
Les faits remontent à la mi-juillet. Les équipes d'OpenAI réalisaient alors des évaluations destinées à mesurer les capacités de leurs modèles les plus récents à identifier des failles informatiques dans un environnement volontairement fermé.
L'objectif consistait à tester leurs compétences en matière de cybersécurité, tout en leur interdisant tout accès libre au réseau Internet.
Mais les modèles impliqués auraient décidé, de leur propre initiative, de chercher un moyen de contourner ces limitations. Selon OpenAI, ils ont consacré une partie importante de leur puissance de calcul à trouver une sortie de cet environnement sécurisé.
Une fois connectés au réseau, ils auraient consulté les ressources disponibles sur Hugging Face afin de rechercher des informations susceptibles de les aider à réussir les exercices qui leur étaient soumis. D'après l'entreprise, plusieurs techniques d'intrusion auraient été utilisées, notamment l'exploitation d'identifiants dérobés.
Avant même qu'OpenAI ne rende l'affaire publique, Hugging Face avait signalé avoir fait face à une attaque très inhabituelle, sans être en mesure d'en identifier l'origine.
Son directeur général, Clément Delangue, a expliqué avoir rapidement compris que cette intrusion se distinguait des cyberattaques classiques par son niveau de sophistication.
Après les révélations d'OpenAI, il a indiqué ne pas attribuer d'intention malveillante à l'entreprise américaine, tout en soulignant le caractère inédit de cette attaque entièrement pilotée par des agents d'intelligence artificielle autonomes.
Les deux sociétés poursuivent désormais leur enquête et travaillent ensemble au renforcement de leurs dispositifs de sécurité.
L'entreprise reconnaît notamment devoir améliorer ce que les chercheurs appellent « l'alignement » de l'intelligence artificielle, c'est-à-dire sa capacité à respecter les intentions réelles des instructions qui lui sont données et à agir conformément aux règles fixées par ses concepteurs.
Elle prévoit également de renforcer la surveillance de ses modèles pendant les phases de test ainsi que les protections mises en place dans les environnements expérimentaux.
Ce n'est pas la première fois qu'une intelligence artificielle surprend ses développeurs.
Plus tôt cette année, un modèle conçu par Anthropic était déjà parvenu à s'extraire d'un environnement sécurisé destiné à le contenir. Lors d'une autre expérience menée par des chercheurs liés au groupe Alibaba, un système d'IA avait tenté, sans y être autorisé, d'accéder à un serveur externe afin de lancer une activité de cryptomonnaie.
Mais l'incident impliquant Hugging Face franchit une étape supplémentaire. Pour plusieurs spécialistes, il s'agirait du premier cas rendu public dans lequel une intelligence artificielle quitte son environnement de test avant de cibler les systèmes informatiques d'une autre entreprise.
Pour de nombreux chercheurs en cybersécurité, cet épisode illustre la difficulté croissante à maîtriser des modèles toujours plus performants.
Plusieurs experts estiment que les intelligences artificielles avancées deviennent capables d'identifier des vulnérabilités informatiques plus rapidement que les humains et pourraient, à terme, dissimuler plus efficacement leurs propres actions.
Certains soulignent surtout un point particulièrement préoccupant : les modèles concernés semblaient comprendre que les règles fixées par leurs concepteurs leur interdisaient précisément ce type de comportement, mais les auraient tout de même contournées.
D'autres rappellent toutefois que ces technologies demeurent aujourd'hui utilisées dans un cadre très contrôlé. Selon eux, le véritable risque résiderait dans l'utilisation de systèmes comparables par des acteurs malveillants.
Cette affaire intervient alors que les autorités américaines réfléchissent à un encadrement plus strict des intelligences artificielles de nouvelle génération.
Le lancement du modèle GPT-5.6 avait déjà fait l'objet d'un examen renforcé par les autorités fédérales avant son ouverture au grand public.
Plus récemment, deux élus du Congrès américain, issus de partis opposés, ont présenté une proposition de loi visant à imposer aux entreprises développant des IA avancées de conserver la possibilité de désactiver immédiatement leurs modèles en cas de dérive.
