Apple est restée discrète sur ses projets en matière d’IA générative, mais avec la publication de nouveaux modèles d’IA OpenELM aujourd’hui, il semble que les ambitions immédiates de l’entreprise se situent résolument dans le domaine de l’exécution locale de l’IA sur les appareils Apple.
Apple a récemment fait une incursion remarquée dans le domaine des modèles de langage avec le lancement d’OpenELM, une série de Large Language Model mais efficaces, conçus pour fonctionner entièrement sur des appareils individuels. Cette démarche représente un changement de stratégie pour la firme, traditionnellement réputée pour sa culture du secret et ses systèmes fermés.
Apple is joining the public AI game with 4 new models on the Hugging Face hub! https://t.co/oOefpK37J9
— clem 🤗 (@ClementDelangue) April 24, 2024
OpenELM, qui signifie « Open-source Efficient Language Models », comprend 8 versions de modèles, chacune conçue pour des tâches spécifiques de génération de texte et d’instruction. Il existe quatre tailles : 270 millions de paramètres, 450 millions de paramètres, 1,1 milliard de paramètres et 3 milliards de paramètres.
Les paramètres désignent le nombre de variables qu’un modèle comprend pour prendre des décisions à partir de ses ensembles de données d’apprentissage. Par exemple, le modèle Phi-3 de Microsoft, récemment publié, se limite à 3,8 milliards de paramètres, tandis que Gemma de Google propose une version à 2 milliards de paramètres. Les petits modèles sont moins coûteux et optimisés pour fonctionner sur des appareils tels que les smartphones et les ordinateurs portables.
Quatre tailles d’OpenELM
Les modèles OpenELM ont été pré-entraînés sur des ensembles de données publics comprenant des sources telles que Reddit, Wikipedia et arXiv, atteignant un impressionnant total de 1,8 trillion de tokens. Apple a utilisé une stratégie de mise à l’échelle par couche dans la construction de ces modèles, permettant une utilisation optimisée des ressources de calcul tout en améliorant l’exactitude des résultats.
Les benchmarks publiés montrent que les modèles, en particulier la variante de 450 millions de paramètres, réalisent des performances respectables, mais pas révolutionnaires, sur des benchmarks tels que ARC-C, MMLU et HellaSwag. Cela positionne OpenELM comme une alternative viable pour les applications ne nécessitant pas les capacités extrêmes des modèles plus grands et plus gourmands en ressources.
Applications et implications de OpenELM
L’approche d’Apple, permettant l’exécution de ces modèles sur des dispositifs individuels comme les MacBook et les smartphones, sans nécessiter de connexion à des serveurs cloud, souligne une avancée vers plus d’autonomie dans le traitement des tâches d’IA.
Les poids des modèles OpenELM sont disponibles sous une licence sample code, ce qui encourage leur utilisation et modification dans des projets commerciaux, tout en respectant certaines conditions de redistribution.
Avec OpenELM, Apple ne cherche pas seulement à rattraper ses concurrents comme Google ou Microsoft, qui ont également leurs propres modèles pouvant fonctionner sur des appareils. La firme cherche plutôt à pousser les limites de ce qui est possible avec l’IA en open source, tout en restant fidèle à ses principes de performance et d’efficacité. Les modèles OpenELM représentent donc une étape significative vers des applications d’IA plus accessibles et éthiquement responsables.
Apple mise beaucoup sur l’IA
Tim Cook, le PDG d’Apple, a laissé entendre que des fonctions d’IA générative allaient être intégrées aux appareils de la société, déclarant en février qu’Apple consacrait « énormément de temps et d’efforts » à ce domaine. Cependant, Apple n’a pas encore donné de détails sur ce que pourrait être son utilisation de l’IA.
La société a déjà lancé d’autres modèles d’IA, mais elle n’a pas encore publié de modèle de base d’IA pour une utilisation commerciale, comme l’ont fait ses concurrents.
