0
0
Microsoft vient de dévoiler la famille de modèles de langage compacts Phi-3, les présentant comme les plus performants et les plus rentables de leur taille disponibles sur le marché. L’approche innovante de formation développée par les chercheurs de Microsoft a permis aux modèles Phi-3 de surpasser des modèles plus grands sur des benchmarks de langage, de codage et de mathématiques.
🚀 Une nouvelle ère dans l’IA générative
« Ce que nous allons commencer à voir, ce n’est pas un passage des grands aux petits modèles, mais un passage d’une catégorie de modèles unique à un portefeuille de modèles où les clients ont la possibilité de choisir le meilleur modèle pour leur scénario », a déclaré Sonali Yadav, directrice de produit principale pour l’IA générative chez Microsoft.
Le premier modèle Phi-3, Phi-3-mini avec 3,8 milliards de paramètres, est désormais disponible au public dans Azure AI Model Catalog, Hugging Face, Ollama, et en tant que microservice NVIDIA NIM. Malgré sa taille compacte, Phi-3-mini surpasse des modèles deux fois plus grands. D’autres modèles Phi-3 comme Phi-3-small (7 milliards de paramètres) et Phi-3-medium (14 milliards de paramètres) suivront bientôt.
💡 Des possibilités infinies avec Phi-3
Certains clients peuvent avoir besoin de petits modèles, certains auront besoin de grands modèles et beaucoup voudront combiner les deux de différentes manières », a déclaré Luis Vargas, vice-président de l’IA chez Microsoft.
L’avantage clé des SLM est leur taille réduite permettant un déploiement sur appareil pour des expériences d’IA à faible latence sans connectivité réseau. Les cas d’utilisation potentiels incluent les capteurs intelligents, les caméras, le matériel agricole, et plus encore. La confidentialité est un autre avantage en gardant les données sur l’appareil.
🔍 Vers un avenir plus intelligent et plus rapide
Les grands modèles de langage excellent dans le raisonnement complexe sur de vastes ensembles de données – des forces adaptées à des applications comme la découverte de médicaments en comprenant les interactions à travers la littérature scientifique. Cependant, les SLM offrent une alternative intéressante pour des questions plus simples, la résumé, la génération de contenu, et autres.
💬 Les experts s’expriment
« Plutôt que de poursuivre des modèles de plus en plus grands, Microsoft développe des outils avec des données plus soigneusement sélectionnées et une formation spécialisée », a commenté Victor Botev, CTO et co-fondateur d’Iris.ai.
🛠️ La clé du succès : une technique de formation révolutionnaire
Ce qui a permis le bond de qualité des SLM de Microsoft était une approche innovante de filtrage et de génération de données inspirée des livres d’histoires du soir.
📚 « Au lieu de s’entraîner uniquement sur des données brutes du web, pourquoi ne pas chercher des données de qualité extrêmement élevée ? » a demandé Sebastien Bubeck, vice-président de Microsoft à la tête de la recherche sur les SLM.
La routine de lecture nocturne de Ronen Eldan avec sa fille a suscité l’idée de générer un ensemble de données de « TinyStories » de millions de récits simples créés en incitant un grand modèle avec des combinaisons de mots qu’un enfant de 4 ans connaîtrait. Remarquablement, un modèle de 10 millions de paramètres entraîné sur TinyStories pouvait générer des histoires fluides avec une grammaire parfaite.
En s’appuyant sur ce premier succès, l’équipe a obtenu des données web de haute qualité validées pour leur valeur éducative pour créer l’ensemble de données « CodeTextbook ». Celui-ci a été synthétisé à travers des rounds d’incitations, de génération et de filtrage par des humains et de grands modèles d’IA.
🛡️ L’importance de la sécurité
Malgré la curation réfléchie des données, Microsoft souligne l’application de pratiques de sécurité supplémentaires pour la sortie de Phi-3, reflétant ses processus standards pour tous les modèles d’IA générative.
🛡️ « Comme pour toutes les sorties de modèles d’IA générative, les équipes produit et IA responsable de Microsoft ont utilisé une approche multi-couches pour gérer et atténuer les risques liés au développement des modèles Phi-3 », a déclaré un article de blog.
Cela incluait des exemples de formation supplémentaires pour renforcer les comportements attendus, des évaluations pour identifier les vulnérabilités grâce à des équipes d’attaque, et en offrant des outils Azure AI aux clients pour construire des applications dignes de confiance au-dessus de Phi-3.
Découvrez la suite :
https://youtube.com/@business-ia?si=cFTDtAvLjxVrBhHc
Revue Hebdomadaire de l’IA : Les Nouvelles de la Semaine ! – (business-ia.com)
