On sait déjà que le Cerebras CS-2 est le processeur le plus grand et le plus puissant de la planète en matière d’IA. On sait aujourd’hui qu’il peut fonctionner en réseau pour créer un réseau de « neurones » plus important que celui d’un cerveau humain. Cerebras System, l’entreprise qui a accouché de ce titan – 46225 mm², 2600 milliards de transistors composants 850.000 cores d’IA et 40 Go de mémoire intégrée ! – vient d’annoncer que son bébé peut désormais la jouer collectif.
Les institutions et les entreprises cibles vont pouvoir, si elles en ont les moyens, créer un super-super calculateur de 192 Cerebras CS-2 fonctionnant de pair. Les chiffres qui en découlent sont presque absurdes, puisqu’on parle ici d’un réseau de 162 millions de cœurs de calcul IA, offrant une complexité de 120 000 milliards de connexions potentielles, contre « seulement » 100 000 milliards de connexions synaptiques dans notre cerveau…
Notre cerveau conserve quand même un sacré avantage côté consommation énergétique : à 15 kWatts pour chacune des machines (sans parler des nœuds d’interconnexion), on parle ici de 2,88 mégawatts, alors que même le cerveau d’Einstein se contentait de trois petits repas pas jour (plus un goûter, éventuellement ?).
Toujours dans le délire des chiffres, ces fameux nœuds d’interconnexions appelés MemoryX qui pilotent chacun jusqu’à 32 Cerebras CS-2, intègrent un cocktail de mémoire RAM et Flash pour conserver les modèles et paramètres hors des processeurs – ce qui libère la mémoire interne de chaque puce pour exécuter les calculs. Et combien de mémoire peut-on mettre dans ces MemoryX ? Oh, trois fois rien : entre 4 To et 2,4 Po (pétaoctets). Oui, un peu plus que votre portable sous Windows 10…
Ce qui est important dans l’approche de Cerebras, c’est la densité de cœurs et la courte distance entre tous ces cœurs et les différentes mémoires. La latence est un problème important des supercalculateurs, qui accumulent certes des millions de cœurs, mais répartis sur des milliers de machines, avec des accès compliqués à la mémoire. Avec seulement 192 (très grosses) unités centrales Cerebras CS-2, un tel supercalculateur offre une densité de puissance/mémoire inédite.
Lire aussi : Voici IBM Telum, le processeur qui va détecter les fraudes bancaires en temps réel
Alors que pour l’heure, des entraînements d’IA avec GPT-3 peuvent prendre des semaines, voire des mois avec des milliards de paramètres, Cerebras CS-2 permettrait d’améliorer cette précision en montant à des billiards (des millions de milliards) de paramètres. Le tout dans des temps records.
À découvrir aussi en vidéo :
Pas la peine de casser votre tirelire cependant, spécialisé dans l’entraînement et l’inférence, ce processeur ne peut même pas faire tourner Doom. Et les clients, qui doivent être adoubés par les autorités américaines, sont les géants du web, de la pharmacie, les gouvernements amis, les scientifiques, les entreprises liés à l’énergie ou encore la finance.
Il reste désormais à attendre le déploiement réel d’un tel système. Et voir si les performances sont à la mesure des espérances.
Sources : Cerebras, via Tom’s Hardware (US)
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
