OpenAI semble rencontrer des difficultés avec Orion, son modèle de prochaine génération censé succéder à GPT-4. Selon un rapport de The Information, des employés d’OpenAI affirment que les gains en qualité réalisés avec Orion sont bien plus modestes que ceux observés lors de la transition entre GPT-3 et GPT-4.
Les chercheurs d’OpenAI indiquent que Orion ne surpasse pas systématiquement GPT-4 pour certaines tâches. Le domaine du codage serait particulièrement touché, Orion ne montrant pas d’amélioration marquée par rapport à GPT-4 en matière de développement et de résolution de bugs. En revanche, les compétences linguistiques d’Orion seraient meilleures, ce qui signifie que pour des tâches générales, comme la synthèse ou la réécriture de texte, le modèle montre des progrès.
Le ralentissement de l’amélioration des performances pourrait s’expliquer par la difficulté croissante de trouver des données d’entraînement de haute qualité. Selon le rapport, l’offre de textes de qualité pour former des modèles de langage est en diminution, limitant ainsi la capacité des modèles comme Orion à progresser dans des tâches complexes.
Les modèles LLM ayant déjà exploité une grande partie des données facilement accessibles, trouver de nouvelles données de qualité pour affiner leurs compétences devient un défi majeur.
Un coût de développement et d’exploitation en hausse pour OpenAI Orion
En plus de ces limitations de données, le coût des ressources informatiques pour entraîner des modèles comme Orion est de plus en plus élevé. La hausse des besoins en calcul pourrait rendre le développement et le déploiement de modèles avancés comme Orion financièrement difficile, voire insoutenable.
Cela pourrait se traduire par des coûts plus élevés pour les utilisateurs finaux et susciter des préoccupations en matière d’impact environnemental. L’augmentation de la consommation énergétique dans les centres de données intervient dans un contexte de sensibilisation accrue au changement climatique, rendant la situation d’autant plus complexe.
Face à ces défis, OpenAI pourrait devoir envisager une nouvelle approche pour améliorer ses modèles. The Information suggère qu’il pourrait devenir nécessaire de mettre à jour et d’améliorer les modèles en continu après leur entraînement initial, au lieu de se fier uniquement à des données préexistantes. Cette approche permettrait de maintenir la performance des modèles tout en contournant le manque de nouvelles données d’entraînement.
Orion : lancement attendu en 2025 avec un potentiel changement de nom
Orion, qui pourrait arriver début 2025, ne sera probablement pas baptisé ChatGPT-5, OpenAI envisageant potentiellement un changement de nom pour cette nouvelle génération de modèles. Ces nouvelles informations appellent à la prudence quant aux attentes pour Orion, en raison des contraintes techniques et économiques auxquelles OpenAI fait face.
Si le rapport s’avère exact, cela pourrait marquer un tournant et inciter les acteurs du secteur à reconsidérer leurs méthodes pour améliorer les modèles d’intelligence artificielle à l’avenir.
