OpenAI a récemment publié la System Card de son modèle GPT-4o, un document de recherche qui décrit les mesures de sécurité et les évaluations des risques réalisées avant le lancement de ce modèle.
Dévoilé au public en mai, GPT-4o a fait l’objet d’une évaluation approfondie par une équipe externe de red teamers, des experts en sécurité chargés de déceler les vulnérabilités potentielles du système. Parmi les risques analysés figuraient la création non autorisée de clones de voix, la production de contenus érotiques ou violents, et la reproduction de contenus audio protégés par le droit d’auteur. Les résultats de ces évaluations viennent d’être publiés.
Selon le framework d’évaluation interne d’OpenAI, GPT-4o a été classé comme présentant un « risque moyen ». Cette évaluation globale a été déterminée en fonction du risque le plus élevé parmi quatre catégories : cybersécurité, menaces biologiques, persuasion et autonomie du modèle. Parmi ces catégories, seule la « persuasion » a été jugée à risque, les chercheurs ayant constaté que certains échantillons de texte générés par GPT-4o pouvaient être plus persuasifs que ceux rédigés par des humains. Toutefois, cela n’a pas été considéré comme une tendance générale.
Lindsay McCallum Rémy, porte-parole d’OpenAI, a précisé que cette System Card inclut des évaluations de préparation réalisées par une équipe interne, ainsi que des tests externes menés par des groupes spécialisés comme le Model Evaluation and Threat Research (METR) et Apollo Research. Ces organisations sont connues pour leurs évaluations des systèmes d’IA.
Il est important de noter que ce n’est pas la première System Card*qu’OpenAI a publiée. Des cartes similaires avaient déjà été diffusées pour GPT-4, GPT-4 avec vision, et DALL-E 3. Cependant, la publication de celle de GPT-4o intervient à un moment crucial. OpenAI fait face à une vague de critiques sur ses normes de sécurité, venant aussi bien de ses propres employés que de sénateurs américains.
Un réel besoin de transparence pour OpenAI, pas seulement pour GPT-4o
De plus, cette publication intervient à l’approche de l’élection présidentielle américaine, un contexte où les modèles d’IA comme GPT-4o pourraient involontairement contribuer à la propagation de désinformations ou être détournés par des acteurs malveillants, malgré les efforts d’OpenAI pour tester des scénarios d’utilisation réelle afin d’éviter de tels abus.
Face à ces défis, de nombreux observateurs demandent plus de transparence de la part d’OpenAI, non seulement concernant les données d’entraînement des modèles, mais aussi sur les tests de sécurité effectués.
