Les récentes discussions autour de l’extension des Large Language Model (LLM) révèlent un tournant majeur dans la recherche de l’intelligence artificielle (IA) générale, aussi appelée intelligence générale artificielle (AGI). Depuis des années, la stratégie dominante a consisté à faire évoluer les modèles en augmentant le nombre de paramètres et en les entraînant sur des volumes de données toujours plus importants, dans l’espoir que cela déboucherait sur une intelligence plus avancée. Cependant, de récents rapports et des avis d’experts suggèrent que cette approche atteint peut-être ses limites. OpenAI, par exemple, revoit sa stratégie après avoir constaté que les gains de performance de son futur modèle « Orion » sont modestes par rapport aux percées des modèles précédents.
Ilya Sutskever, ancien scientifique en chef d’OpenAI, autrefois fervent défenseur de l’idée que la simple « scalabilité » permettrait d’atteindre une intelligence plus avancée, a récemment fait part d’un changement de perspective. Il a affirmé que l’industrie de l’IA entre dans une « ère de découverte et de recherche » où il ne s’agit plus seulement d’augmenter la taille des modèles, mais de mieux cibler les objectifs à « scaler ». Ce passage d’une « ère de l’échelle » à une ère d’exploration de nouvelles techniques indique que des approches novatrices seront nécessaires pour continuer à débloquer le potentiel de l’IA.
L’une des avancées clés dans cette nouvelle direction est le concept de « scalabilité de l’inférence ». OpenAI a récemment introduit des modèles « o1 » qui reposent sur cette idée : permettre aux IA de prendre plus de temps pour réfléchir à une tâche en phase d’inférence (lorsque le modèle génère des réponses). Plutôt que de simplement augmenter la taille des modèles, la scalabilité de l’inférence permet aux modèles d’utiliser davantage de ressources de calcul au moment où ils génèrent leurs réponses. En conséquence, cette méthode permet aux modèles de passer plus de temps à affiner leurs réponses et a déjà montré qu’elle produisait des résultats plus précis pour des tâches complexes.
D’autres géants technologiques, comme Google et Anthropic, explorent également la scalabilité de l’inférence pour améliorer les performances des modèles sans pour autant augmenter leur taille. Le chercheur d’OpenAI, Noam Brown, a même évoqué l’idée que les futures versions des modèles pourraient être conçues pour réfléchir pendant des jours, voire des semaines, ouvrant la voie à des solutions pour des problèmes complexes dans des domaines comme la médecine, l’énergie propre, et les mathématiques.
Bien que ce type d’inférence approfondie soit coûteux en ressources, il pourrait être justifié par son potentiel à résoudre des problématiques de grande envergure.
Des débats autour de l’IA artificielle (AGI)
Cependant, certains restent sceptiques face à la scalabilité de l’inférence comme solution pour atteindre l’AGI. Les critiques soutiennent que l’amélioration des capacités de génération de réponses ne suffira peut-être pas à développer la flexibilité et l’adaptabilité cognitives nécessaires pour une intelligence véritablement générale. François Chollet, chercheur chez Google, et Yann LeCun, scientifique en chef de l’IA chez Meta, expriment leurs réserves, estimant que sans nouvelles architectures ou méthodes fondamentales, l’augmentation de la taille ou de la durée d’inférence des modèles actuels ne permettra pas de combler le fossé vers l’AGI.
Alors que les entreprises épuisent les données disponibles pour entraîner leurs modèles, la pression pour innover se fait plus forte. Que la scalabilité de l’inférence ou d’autres approches novatrices permettent un véritable bond en avant reste incertain, mais il est de plus en plus évident que l’ère où l’on se contentait d’agrandir les modèles touche à sa fin. La question de savoir si l’AGI est véritablement à portée de main, ou encore très éloignée, ne pourra être éclaircie que dans les prochaines années.
