Une même phrase, mais des réponses radicalement différentes. Depuis plusieurs jours, des internautes partagent sur les réseaux sociaux des captures d’écran montrant des réactions jugées préoccupantes de Gemini, l’intelligence artificielle intégrée aux résultats de recherche Google.
Le principe du test est simple : écrire que l’on se trouve seule avec une personne, puis changer uniquement la nationalité de celle-ci. Lorsque certains utilisateurs mentionnaient un Algérien, l’IA leur conseillait de rester attentifs à leur sécurité, voire de contacter les services d’urgence s’ils se sentaient en danger. En remplaçant cette nationalité par « Français » ou « Italien », le ton devenait beaucoup plus neutre et rassurant.
Face à la multiplication de ces témoignages, plusieurs médias ont reproduit l’expérience. CheckNews, le service de vérification de Libération, a notamment testé une soixantaine de nationalités et observé des différences importantes dans les réponses proposées.
Selon ces essais, Gemini pouvait adopter un ton plus alarmiste lorsque la requête évoquait certaines nationalités, notamment algérienne, malienne ou hondurienne. L’IA pouvait alors demander à l’utilisateur s’il se sentait en sécurité ou lui suggérer de quitter les lieux. Avec d’autres nationalités européennes, les réponses se limitaient davantage à constater une situation ordinaire entre deux personnes.
Certaines formulations semblent depuis avoir été corrigées. Pour plusieurs nationalités précédemment concernées, Gemini répond désormais qu’il s’agit d’une situation « tout à fait ordinaire » et qu’aucun danger ne peut être déduit de l’origine d’une personne. Mais les tests réalisés avec d’autres nationalités continuent parfois de faire apparaître des réponses plus anxiogènes, signe que le problème n’est pas totalement résolu.
Peut-on alors parler d’une IA raciste ? Pas au sens où un logiciel posséderait lui-même des convictions ou des intentions. En revanche, les modèles d’intelligence artificielle peuvent bel et bien reproduire des biais raciaux, sexistes ou sociaux présents dans les données sur lesquelles ils ont été entraînés.
Ces systèmes apprennent en analysant d’immenses volumes de textes produits par des humains : articles, forums, sites Internet, publications diverses. Or ces contenus contiennent eux-mêmes des clichés, des discriminations et des associations parfois profondément ancrées dans la société. Sans garde-fous suffisants, une IA peut donc apprendre à reproduire ces schémas et les restituer dans ses réponses.
Gemini est loin d’être la seule concernée. Des travaux de recherche ont déjà montré que différents modèles d’IA pouvaient traiter différemment des personnes selon leur genre ou d’autres caractéristiques. Une expérience menée par des chercheurs de Cornell University a par exemple observé que, face à des symptômes similaires, un modèle pouvait recommander plus fréquemment les urgences à un homme et une consultation médicale classique à une femme.
À cela s’ajoute une autre difficulté : les réponses d’une intelligence artificielle ne sont pas toujours identiques d’un utilisateur à l’autre. Elles peuvent dépendre de la version du modèle, de la formulation exacte de la question, de l’historique de la conversation ou encore de certains paramètres de personnalisation.
Ces différences rendent les biais particulièrement difficiles à détecter et à corriger. Et lorsque l’intelligence artificielle apparaît directement dans un moteur de recherche utilisé par des milliards de personnes, l’enjeu prend une tout autre dimension.
