Microsoft vient de dĂ©voiler la famille de modèles de langage compacts Phi-3, les prĂ©sentant comme les plus performants et les plus rentables de leur taille disponibles sur le marchĂ©. L’approche innovante de formation dĂ©veloppĂ©e par les chercheurs de Microsoft a permis aux modèles Phi-3 de surpasser des modèles plus grands sur des benchmarks de langage, de codage et de mathĂ©matiques.
🚀 Une nouvelle ère dans l’IA gĂ©nĂ©rative
« Ce que nous allons commencer Ă voir, ce n’est pas un passage des grands aux petits modèles, mais un passage d’une catĂ©gorie de modèles unique Ă un portefeuille de modèles oĂą les clients ont la possibilitĂ© de choisir le meilleur modèle pour leur scĂ©nario », a dĂ©clarĂ© Sonali Yadav, directrice de produit principale pour l’IA gĂ©nĂ©rative chez Microsoft.
Le premier modèle Phi-3, Phi-3-mini avec 3,8 milliards de paramètres, est dĂ©sormais disponible au public dans Azure AI Model Catalog, Hugging Face, Ollama, et en tant que microservice NVIDIA NIM. MalgrĂ© sa taille compacte, Phi-3-mini surpasse des modèles deux fois plus grands. D’autres modèles Phi-3 comme Phi-3-small (7 milliards de paramètres) et Phi-3-medium (14 milliards de paramètres) suivront bientĂ´t.
💡 Des possibilités infinies avec Phi-3
Certains clients peuvent avoir besoin de petits modèles, certains auront besoin de grands modèles et beaucoup voudront combiner les deux de diffĂ©rentes manières », a dĂ©clarĂ© Luis Vargas, vice-prĂ©sident de l’IA chez Microsoft.

L’avantage clĂ© des SLM est leur taille rĂ©duite permettant un dĂ©ploiement sur appareil pour des expĂ©riences d’IA Ă faible latence sans connectivitĂ© rĂ©seau. Les cas d’utilisation potentiels incluent les capteurs intelligents, les camĂ©ras, le matĂ©riel agricole, et plus encore. La confidentialitĂ© est un autre avantage en gardant les donnĂ©es sur l’appareil.
🔍 Vers un avenir plus intelligent et plus rapide
Les grands modèles de langage excellent dans le raisonnement complexe sur de vastes ensembles de donnĂ©es – des forces adaptĂ©es Ă des applications comme la dĂ©couverte de mĂ©dicaments en comprenant les interactions Ă travers la littĂ©rature scientifique. Cependant, les SLM offrent une alternative intĂ©ressante pour des questions plus simples, la rĂ©sumĂ©, la gĂ©nĂ©ration de contenu, et autres.
đź’¬ Les experts s’expriment
« PlutĂ´t que de poursuivre des modèles de plus en plus grands, Microsoft dĂ©veloppe des outils avec des donnĂ©es plus soigneusement sĂ©lectionnĂ©es et une formation spĂ©cialisĂ©e », a commentĂ© Victor Botev, CTO et co-fondateur d’Iris.ai.
🛠️ La clé du succès : une technique de formation révolutionnaire
Ce qui a permis le bond de qualitĂ© des SLM de Microsoft Ă©tait une approche innovante de filtrage et de gĂ©nĂ©ration de donnĂ©es inspirĂ©e des livres d’histoires du soir.
đź“š « Au lieu de s’entraĂ®ner uniquement sur des donnĂ©es brutes du web, pourquoi ne pas chercher des donnĂ©es de qualitĂ© extrĂŞmement Ă©levĂ©e ? » a demandĂ© Sebastien Bubeck, vice-prĂ©sident de Microsoft Ă la tĂŞte de la recherche sur les SLM.
La routine de lecture nocturne de Ronen Eldan avec sa fille a suscitĂ© l’idĂ©e de gĂ©nĂ©rer un ensemble de donnĂ©es de « TinyStories » de millions de rĂ©cits simples crĂ©Ă©s en incitant un grand modèle avec des combinaisons de mots qu’un enfant de 4 ans connaĂ®trait. Remarquablement, un modèle de 10 millions de paramètres entraĂ®nĂ© sur TinyStories pouvait gĂ©nĂ©rer des histoires fluides avec une grammaire parfaite.
En s’appuyant sur ce premier succès, l’Ă©quipe a obtenu des donnĂ©es web de haute qualitĂ© validĂ©es pour leur valeur Ă©ducative pour crĂ©er l’ensemble de donnĂ©es « CodeTextbook ». Celui-ci a Ă©tĂ© synthĂ©tisĂ© Ă travers des rounds d’incitations, de gĂ©nĂ©ration et de filtrage par des humains et de grands modèles d’IA.
🛡️ L’importance de la sĂ©curitĂ©
MalgrĂ© la curation rĂ©flĂ©chie des donnĂ©es, Microsoft souligne l’application de pratiques de sĂ©curitĂ© supplĂ©mentaires pour la sortie de Phi-3, reflĂ©tant ses processus standards pour tous les modèles d’IA gĂ©nĂ©rative.
🛡️ « Comme pour toutes les sorties de modèles d’IA gĂ©nĂ©rative, les Ă©quipes produit et IA responsable de Microsoft ont utilisĂ© une approche multi-couches pour gĂ©rer et attĂ©nuer les risques liĂ©s au dĂ©veloppement des modèles Phi-3 », a dĂ©clarĂ© un article de blog.
Cela incluait des exemples de formation supplĂ©mentaires pour renforcer les comportements attendus, des Ă©valuations pour identifier les vulnĂ©rabilitĂ©s grâce Ă des Ă©quipes d’attaque, et en offrant des outils Azure AI aux clients pour construire des applications dignes de confiance au-dessus de Phi-3.
DĂ©couvrez la suite :
https://youtube.com/@business-ia?si=cFTDtAvLjxVrBhHc
 Revue Hebdomadaire de l’IA : Les Nouvelles de la Semaine !  – (business-ia.com)