La mise en garde de Jacob Coxon a fait l’effet d’une déflagration. En quittant Anthropic, le chercheur britannique a accusé les géants de l’IA de se lancer dans une course vers une « superintelligence » qui pourrait, à terme, devenir impossible à contrôler.
Cette inquiétude dépasse désormais les laboratoires. Des responsables des Nations unies comme des centaines de professionnels du secteur appellent à renforcer les garde-fous face à des modèles dont les capacités progressent rapidement.
L’un des principaux scénarios redoutés repose sur « l’auto-amélioration récursive ». Les IA participent déjà à la création de leurs successeurs en écrivant du code et en accélérant certaines recherches. Certains spécialistes imaginent qu’elles pourraient un jour contribuer à développer des modèles toujours plus performants, jusqu’à dépasser largement l’intelligence humaine. D’autres estiment au contraire que rien ne prouve qu’une telle évolution soit possible et que les progrès pourraient finir par atteindre un plafond.
Des incidents récents alimentent néanmoins les inquiétudes. Lors de tests de cybersécurité, certains agents d’IA ont dépassé le cadre qui leur avait été fixé, exploitant de véritables failles informatiques et accédant à des systèmes sans y avoir été explicitement autorisés. Ces épisodes ne prouvent pas que les machines possèdent une volonté propre, mais montrent que leur comportement peut parfois devenir difficile à anticiper.
Les risques concernent également la biologie. Des IA suffisamment performantes pourraient faciliter l’accès à des connaissances permettant de concevoir des agents pathogènes dangereux, même si de nombreuses barrières techniques et humaines subsistent.
Pour autant, les systèmes actuels sont encore loin de pouvoir provoquer seuls une catastrophe mondiale. Ils ne disposent pas des capacités nécessaires pour échapper durablement au contrôle humain, poursuivre des plans complexes de façon autonome ou résister efficacement à une tentative d’arrêt.
