Microsoft a lancé son plus petit modèle d’IA, Phi-3, le premier d’un trio de modèles légers. Alors que de plus en plus de modèles d’IA arrivent sur le marché, Microsoft s’oriente vers des modèles formés sur des ensembles de données plus petits qu’à l’accoutumée.
The Verge rapporte que Phi-3 Mini dispose de 3,8 milliards de paramètres (le nombre d’instructions complexes qu’un modèle peut comprendre) et est désormais disponible sur Azure, Hugging Face et Ollama, avec des projets de lancement de deux autres modèles. Phi-3 Small dispose de 7 milliards de paramètres et Phi-3 Medium 14 milliards de paramètres. Pour donner une idée de l’échelle, on pense que GPT-4 a plus de 1 000 milliards de paramètres.
Le Phi-2 de Microsoft a été lancé en décembre 2023, avec 2,7 milliards de paramètres, mais avec la capacité d’atteindre des niveaux de performance analogue à ceux de certains modèles plus grands. L’entreprise affirme aujourd’hui que Phi-3 peut surpasser son prédécesseur, en offrant des réponses proches de celles de 10x sa taille.
Les avantages de Phi-3 Mini ?
Les petits modèles d’IA sont généralement moins coûteux à créer et à exploiter. Leur taille réduite signifie qu’ils fonctionnent bien sur des appareils personnels tels que les smartphones et les ordinateurs portables, ce qui facilite leur adaptation et leur lancement sur le marché de masse.
Microsoft dispose d’une équipe chargée de développer des modèles d’IA plus petits, chacun d’entre eux étant conçu pour cibler des domaines spécifiques. Orca-Math, par exemple, se concentre sur la résolution de problèmes mathématiques, comme son nom l’indique.
Ce n’est pas la seule entreprise à cibler ce domaine, avec Gemma 2B et 7B de Google centrés sur le langage et les chatbots, Claude 3 Haiku d’Anthropic conçu pour lire et résumer de longs articles de recherche (similaire à CoPilot de Microsoft), et Llama 3 8B de Meta prêt à aider au codage.
Si les modèles d’IA de petite taille conviennent mieux aux appareils personnels, ils peuvent également être utilisés par les entreprises. Les ensembles de données internes des entreprises étant généralement plus petits, ces modèles d’IA sont bien adaptés à une utilisation interne, car ils sont plus faciles et plus rapides à installer et à utiliser, tout en étant plus abordables.
L’IA responsable au premier plan
Microsoft a développé Phi-3 en tenant compte dès le départ de ses principes d’IA responsable. Les données d’entraînement du modèle ont été examinées pour détecter toute toxicité et tout biais, et des mesures de sécurité supplémentaires ont été mises en place avant la publication. Cela permet aux entreprises, en particulier celles des secteurs réglementés, d’exploiter en toute confiance les capacités de Phi-3.
D’un point de vue technique, Phi-3 fonctionne sur le ONNX Runtime optimisé pour les GPU NVIDIA et peut être déployé de manière distribuée sur plusieurs GPU ou machines afin d’optimiser le débit. L’architecture du modèle utilise des mécanismes d’attention efficaces et une précision numérique optimisée pour atteindre des performances élevées avec un nombre relativement faible de paramètres.
