Selon un récent rapport de Bloomberg, OpenAI a mis en place une nouvelle structure de gouvernance qui confère à son conseil d’administration le pouvoir de refuser la diffusion de modèles d’IA, même si la direction de l’entreprise les a jugés sûrs.
Cette décision, détaillée dans des lignes directrices récemment publiées, intervient après une période tumultueuse à OpenAI, notamment l’éviction temporaire du PDG Sam Altman. Cet événement a mis en lumière le délicat équilibre des pouvoirs entre les administrateurs de la société et son équipe dirigeante.
La nouvelle équipe de « préparation » d’OpenAI, dirigée par Aleksander Madry du MIT, est chargée d’évaluer en permanence les systèmes d’IA de l’entreprise. L’équipe se concentrera sur l’identification et l’atténuation des potentielles menaces en matière de cybersécurité et des risques liés aux dangers chimiques, nucléaires et biologiques.
OpenAI définit les risques « catastrophiques » comme étant ceux capables de causer des dommages économiques importants ou des dommages significatifs aux individus.
L’équipe de Madry fournira des rapports mensuels à un groupe consultatif interne sur la sécurité, qui présentera ensuite des recommandations à Altman et au conseil d’administration. Si l’équipe dirigeante peut décider de la mise sur le marché de nouveaux systèmes d’IA sur la base de ces rapports, le conseil d’administration conserve le dernier mot et peut annuler toute décision prise par les dirigeants de l’entreprise.
L’approche à trois niveaux d’OpenAI en matière de sécurité de l’IA
L’approche d’OpenAI en matière de sécurité de l’IA est structurée autour de trois équipes distinctes :
- Systèmes de sécurité : Cette équipe se concentre sur les produits actuels tels que GPT-4, en veillant à ce qu’ils respectent les normes de sécurité.
- Préparation : La nouvelle équipe dirigée par Madry évalue les modèles d’IA avancés et inédits pour détecter les potentiels risques.
- Superalignement : Dirigée par Ilya Sutskever, l’équipe « Superalignement » se concentrera sur les futurs systèmes d’IA hypothétiques qui pourraient posséder un pouvoir immense.
Chaque équipe joue un rôle crucial dans l’évaluation des différents aspects de la sécurité de l’IA, qu’il s’agisse des produits existants ou des développements futurs.
L’équipe chargée de la préparation classera les modèles d’IA dans les catégories « faible », « moyen », « élevé » ou « critique » en fonction des risques perçus. OpenAI prévoit de ne publier que les modèles classés « moyen » ou « faible ». L’équipe mettra également en œuvre des changements pour réduire les dangers identifiés et évaluera l’efficacité de ces modifications.
Madry a déclaré à Bloomberg qu’il espérait que d’autres entreprises adopteraient les lignes directrices de OpenAI pour leurs modèles d’IA. Ces lignes directrices formalisent les processus utilisés précédemment par OpenAI pour évaluer et diffuser la technologie de l’IA.
Madry a insisté sur le rôle proactif de l’impact de l’IA : « L’IA n’est pas quelque chose qui nous arrive par hasard et qui peut être bon ou mauvais. C’est quelque chose que nous façonnons ».
