Autres catégories
Climat : Des modèles d'IA tout bonnement flagorneurs |
|
|
|
|
Dossier de la rédaction de H2o   |
|
| 16/11/2026 | |
Selon un rapport publié par l'UNESCO et l'UCL, les modèles d'IA abandonnent les faits relatifs au climat dès les premiers signes de désaccord de l'utilisateurSelon un nouveau rapport de l'UNESCO et de l'University College London, intitulé "Can We Trust AI on Climate? Why it seeks to please the user, and fails on complex reasoning and multilingualism" et présenté lors de la COP31 à Antalya, les modèles d'IA répondent correctement à 90 % des questions relatives au climat, mais abandonnent rapidement les faits scientifiques établis lorsque les utilisateurs les remettent en question. Leurs performances varient aussi considérablement d'une langue à l'autre, dans la mesure où elles dépendent des données d'entraînement disponibles dans chaque langue. Des chercheurs de l'UCL ont testé 15 grands modèles de langage (LLM) différents. Aux questions neutres sur la science du climat, les modèles ont fourni des réponses précises, mais lorsque les chercheurs les ont remises en cause ou ont avancé des affirmations fausses mais plausibles sur la science du climat, les modèles leur ont rapidement donné raison. Huit fois sur dix, les modèles ont changé de position dès le premier signe de léger désaccord de la part de l'utilisateur, confirmant ainsi des erreurs préoccupantes telles que "Le CO2 n'est pas le principal facteur du changement climatique".
"L'IA dispose d'un potentiel extraordinaire pour rendre la science complexe du climat accessible à tous. Elle permet aux enseignants, aux journalistes et aux décideurs politiques de communiquer clairement sur ce sujet crucial. Nous devons pouvoir nous fier à l'IA comme garante des faits établis. Il est inquiétant que les modèles présentent un défaut de conception : ils sont incités à donner raison à leur utilisateur et à nier si facilement ces mêmes faits", a déclaré Leona Verdadero, autrice principale du rapport de l'UNESCO. La Dr Maria Perez-Ortiz, directrice de l'étude au département d'informatique de l'UCL, a déclaré : "Les systèmes d'IA sont remarquablement doués pour expliquer les connaissances scientifiques, mais cela peut nous induire en erreur quant à leurs capacités. Nos résultats montrent pourquoi nous devons faire preuve de prudence lorsque nous passons d'une question sur ce que nous savons du changement climatique à une question sur ce que nous devrions faire à ce sujet." Cette tendance prononcée à donner raison aux utilisateurs est intégrée aux modèles d'IA lors de leur entraînement. Ils sont conçus pour s'aligner sur l'utilisateur ou le flatter, même lorsque celui-ci a tort, un comportement relevant de la flagornerie. Ce comportement est intégré dès l'entraînement : les modèles sont récompensés pour cela, les humains préférant les interactions polies, non conflictuelles et qui confortent leur point de vue. Les LLM (Large Language Model) ne sont dès lors pas fiables pour élaborer des politiques climatiques solides. Des tests menés sur 33 modèles différents ont révélé que leur impressionnante mémorisation des faits sur la base des preuves existantes masquait de faibles capacités de raisonnement lorsqu'on leur présentait de nouvelles preuves scientifiques. Lorsque les modèles recevaient une nouvelle information et devaient déterminer si celle-ci confirmait ou contredisait des faits établis, même les modèles les plus performants n'atteignaient en moyenne qu'un taux d'exactitude de 75 %. Par ailleurs, alors que pour élaborer des stratégies climatiques efficaces, les décideurs doivent analyser la manière dont les politiques climatiques se complètent, le rapport a révélé que le modèle était à peine capable d'évaluer l'efficacité de ces interactions, avec un taux d'exactitude de seulement 33,8 %, soit à peine supérieur aux 33,3 % attendus en cas de choix aléatoire. Enfin, les modèles multilingues ne raisonnent pas d'abord pour ensuite traduire leurs réponses. Leurs réponses varient en fonction de la qualité et de la quantité des données sur lesquelles ils ont été entraînés dans chaque langue. Lors des tests, les performances dans 13 langues différentes ont révélé d'importantes disparités : les modèles affichaient une exactitude moyenne de 88,6 % en anglais et des performances comparables en espagnol, en français et en portugais ; mais l'exactitude est tombée à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et à 78,3 % en swahili. Comme le souligne le rapport, cet aspect est d'autant plus important que les locuteurs de ces langues vivent dans des régions du monde qui subissent de manière disproportionnée les effets du changement climatique. Le rapport "Can We Trust AI on Climate? Why it seeks to please the user, and fails on complex reasoning and multilingualism" a été commandé par l'UNESCO dans le cadre de sa contribution à l'Initiative mondiale pour l'intégrité de l'information sur le changement climatique (GIIICC), lancée en collaboration avec l'ONU et le Brésil en novembre 2024. Il est le fruit d'une collaboration entre le secteur de la communication et de l'information de l'UNESCO et la Chaire UNESCO en intelligence artificielle de l'University College London (UCL), créée en 2024 dans le but de faire progresser la recherche, la formation et la coopération internationale en matière d'IA centrée sur l'humain. Rapport – UNESCO |
|


