Meta lance Llama 3.1, un modèle IA open source aussi puissant que GPT-4o

« L’intelligence artificielle open source est bonne pour le monde », affirme Mark Zuckerberg. Fort de cette conviction, le fondateur et patron de Meta a annoncé la distribution libre et ouverte de Llama 3.1, la nouvelle version « enrichie » du grand modèle de langage (LLM) développé par l’entreprise. Il y en a trois, en fait : un modèle 8B (pour 8 milliards de paramètres), 70B (70 milliards) et le plus costaud de tous, 405B (405 milliards).

Un tacle contre Apple et son modèle fermé

Le nombre de paramètres est une mesure de la capacité du modèle, ça n’est pas la seule qui doit être prise en compte (la qualité des données d’entraînement est tout aussi essentielle). Mais Meta veut frapper un grand coup face à la concurrence très affûtée d’OpenAI (GPT-4o) et d’Anthropic (Claude 3.5 Sonnet), et s’en est donc donné les moyens en entraînant Llama 3.1 sur 16 000 GPU H100 de Nvidia, rien de moins.

Malgré les coûts induits par l’entraînement du LLM, Meta en fait donc « cadeau » à la communauté. Mark Zuckerberg en est persuadé : les modèles d’IA ouverts vont dépasser les modèles propriétaires, de la même manière que Linux est devenu la fondation sur laquelle repose l’industrie de l’informatique dans le nuage et aussi le système d’exploitation qui fait fonctionner la majorité des appareils mobiles.

S’il faudra voir ce que l’humanité tirera de Llama, quel est donc l’intérêt pour Meta ? Mark Zuckerberg convoque les déboires de son entreprise avec Apple :

« Une de mes expériences formatrices a été de développer nos services sous les contraintes imposées par Apple sur leurs plateformes. Entre la manière dont ils taxent les développeurs, les règles arbitraires qu’ils appliquent et toutes les innovations produits qu’ils empêchent de sortir, il est clair que Meta et de nombreuses autres entreprises doivent être libres d’offrir de bien meilleurs services aux utilisateurs si nous pouvions développer les meilleures versions de nos produits sans que nos concurrents ne puissent restreindre ce que nous pouvons créer ».

Pour éviter d’être enfermé dans un écosystème fermé, Llama doit devenir un écosystème complet avec des outils, une efficacité, des optimisations du silicium et d’autres intégrations que seuls l’open source peut apporter. Par ailleurs, vendre l’accès aux modèles d’IA n’est pas le modèle économique de Meta : publier Llama en open source ne nuit pas aux revenus ou à la capacité d’investir dans la recherche.

C’est aussi un juste retour des choses, sachant que Meta a « économisé des milliards » grâce à des projets comme Open Compute Project et bénéficié des innovations de l’écosystème en publiant des outils comme PyTorch et React. Meta n’a pas attendu ce 23 juillet pour commencer à battre le rappel : 25 partenaires sont dans la boucle, dont Nvidia, Amazon Web Services, Google Cloud, SNCF Gares & Connexions et d’autres encore.

SNCF Gares & Connexions expérimente Llama 3.1 dans de nouvelles fonctions dont le multilinguisme pour l’information et l’orientation des voyageurs en gare en français, anglais, allemand, espagnol, italien et portugais. Pour renforcer le dispositif, une expérience rapide et personnalisée est accessible également via un chatbot WhatsApp, qui permet d’apporter des informations en temps réel aux voyageurs par exemple sur leurs déplacements en gare.

Si Meta joue volontiers la carte de la transparence pour promouvoir les capacités de son nouveau LLM, en revanche c’est toujours bouche cousue pour en savoir plus sur les données d’entraînement, considérées comme un secret industriel. Meta explique simplement qu’il utilise des « données synthétiques » générées par un modèle plutôt que par des humains. De quoi éviter les procès en pillage ? Rien n’est moins sûr.

Dans la foulée, l’entreprise a également lancé une version multilingue de son assistant Meta AI, désormais disponible dans 22 nouveaux pays. Le service, intégré dans les apps WhatsApp, Instagram, Messenger et Facebook, parle désormais en français, en allemand, en espagnol ou encore en portugais. En revanche, il n’est toujours pas disponible dans l’Union européenne et a priori, ça ne risque pas d’arriver de si tôt.