OpenAI Perd Une Autre Chercheuse en Sécurité de l’IA, Lilian Weng
Le départ d'un autre chercheur en sécurité de l'IA de premier plan chez OpenAI soulève des questions sur l'engagement de la startup en matière de sécurité alors qu'elle développe des systèmes d'IA de plus en plus puissants. Lilian Weng, vice-présidente de la recherche et de la sécurité depuis août, a annoncé vendredi qu'elle quittait l'entreprise après 7 ans.
Dans un message sur X (anciennement Twitter), Weng a déclaré : "Après 7 ans chez OpenAI, je me sens prête à faire une pause et à explorer quelque chose de nouveau". Son départ marque le dernier d'une longue série de chercheurs en sécurité de l'IA, de chercheurs en politique et d'autres cadres qui ont quitté l'entreprise au cours de la dernière année.
Inquiétudes sur les priorités d'OpenAI en matière de sécurité de l'IA
Plusieurs anciens employés ont accusé OpenAI de privilégier les produits commerciaux par rapport à la sécurité de l'IA. Weng rejoint Ilya Sutskever et Jan Leike - les dirigeants de l'équipe Superalignment d'OpenAI, désormais dissoute, qui tentait de développer des méthodes pour diriger des systèmes d'IA superintelligents - qui ont également quitté la startup cette année pour travailler sur la sécurité de l'IA ailleurs.
De la robotique à la sécurité des systèmes d'IA
Lilian Weng a rejoint OpenAI en 2018, travaillant initialement sur l'équipe de robotique de la startup qui a fini par construire une main robotique capable de résoudre un Rubik's Cube. Au fur et à mesure qu'OpenAI se concentrait davantage sur le paradigme GPT, Weng a fait de même, aidant à créer l'équipe de recherche en IA appliquée de la startup en 2021.
Suite au lancement de GPT-4, Weng a été chargée de créer une équipe dédiée pour construire des systèmes de sécurité pour la startup en 2023. Aujourd'hui, l'unité des systèmes de sécurité d'OpenAI compte plus de 80 scientifiques, chercheurs et experts en politique, selon le message de Weng.
Des chercheurs inquiets de la direction prise par OpenAI
Malgré ces ressources importantes, beaucoup s'inquiètent de l'engagement d'OpenAI envers la sécurité alors que la startup tente de construire des systèmes d'IA de plus en plus puissants. Miles Brundage, un chercheur politique de longue date, a quitté la startup en octobre et a annoncé qu'OpenAI dissolvait son équipe de préparation à l'AGI, qu'il avait conseillée.
Le même jour, le New York Times a dressé le portrait d'un ancien chercheur d'OpenAI, Suchir Balaji, qui a déclaré avoir quitté OpenAI parce qu'il pensait que la technologie de la startup apporterait plus de mal que de bien à la société.
Nous apprécions profondément les contributions de Lilian à la recherche révolutionnaire sur la sécurité et à la mise en place de garanties techniques rigoureuses.
- Un porte-parole d'OpenAI
OpenAI a déclaré à TechCrunch que les cadres et les chercheurs en sécurité travaillaient sur une transition pour remplacer Weng. La startup se dit confiante dans la capacité de l'équipe Systèmes de sécurité à continuer de jouer un rôle clé pour garantir la sécurité et la fiabilité de ses systèmes, servant des centaines de millions de personnes dans le monde.
Un exode continu des talents chez OpenAI
D'autres cadres qui ont quitté OpenAI ces derniers mois sont notamment la directrice technique Mira Murati, le directeur de la recherche Bob McGrew et le vice-président de la recherche Barret Zoph. En août, l'éminent chercheur Andrej Karpathy et le cofondateur John Schulman ont également annoncé leur départ de la startup.
Certains d'entre eux, dont Leike et Schulman, sont partis pour rejoindre un concurrent d'OpenAI, Anthropic, tandis que d'autres sont partis pour créer leurs propres entreprises. Ces départs soulèvent des questions sur la capacité d'OpenAI à retenir les meilleurs talents alors qu'elle se concentre de plus en plus sur la commercialisation de ses technologies d'IA.
L'avenir de la sécurité de l'IA chez OpenAI
Le départ de Lilian Weng est un coup dur pour les efforts d'OpenAI en matière de sécurité de l'IA, étant donné son rôle de premier plan dans la création et la direction de l'équipe des systèmes de sécurité. Alors que la startup continue de pousser les limites de ce qui est possible avec l'IA, il sera crucial de donner la priorité à la sécurité et à l'éthique pour s'assurer que ses puissantes technologies sont développées et déployées de manière responsable.
Les départs continus de chercheurs en sécurité de l'IA et d'autres cadres soulèvent des inquiétudes quant à la capacité d'OpenAI à équilibrer ses ambitions commerciales avec la nécessité de garanties de sécurité solides. Alors que la course à l'IA s'intensifie, il sera intéressant de voir comment OpenAI s'adapte et répond à ces défis.
