L’an dernier, Mistral AI, une start-up française, a levé le voile sur Le Chat, une intelligence artificielle générative analogue à ChatGPT, Gemini, DeepSeek ou encore Perplexity. Disponible depuis peu sur Android et sur iOS, le chatbot suscite un engouement certain dans l’Hexagone. Pour Clara Chappaz, ministre déléguée en charge de l’IA et du Numérique, Le Chat est « un ChatGPT français » qui se distingue par sa rapidité. Emmanuel Macron s’est même fendu d’un message afin d’encourager tous les Français de télécharger l’application Le Chat sur leur smartphone.
« Je l’ai téléchargé, c’est le modèle de langage français, c’est la référence européenne et il m’aide au quotidien. Tous ceux qui ont ChatGPT, je leur conseille de télécharger Le Chat », a affirmé Emmanuel Macron à nos confrères de 20 Minutes, quelques jours avant le Sommet sur l’IA à Paris.
Avec Le Chat, la start-up basée à Paris fait preuve d’ambitions. L’IA doit à la fois faire oublier la catastrophe de Lucie, le chatbot français open source qui n’est pas parvenu à convaincre, et s’imposer comme une alternative aux IA développées par des géants américains, comme OpenAI ou Google, ou chinois, tels que DeepSeek. Pour déterminer si Le Chat est de taille face à des IA comme ChatGPT, on a testé le robot conversationnel pendant une semaine. Voici notre verdict.
Pour rappel, Le Chat est accessible gratuitement à tous les internautes, par le biais du site web de Mistral, ou sur l’application Android ou iOS. La start-up propose aussi un abonnement payant, baptisé Le Chat Pro, qui offre un accès illimité, et la possibilité de désactiver le partage de données avec Mistral, pour 14,99 euros par mois. Notez que nous avons testé la version gratuite du Chat. Par souci de cohérence, nous avons comparé les réponses de l’IA avec celles fournies par la version gratuite de ChatGPT.
À lire aussi : Risques liés à l’IA, sécurité, vie privée… les grands perdants du sommet de Paris
Le Chat face à des questions générales
Pour commencer, on a testé l’IA en lui posant une série de questions générales. On a simulé l’usage du chatbot de Mistral AI dans le cadre d’une utilisation quotidienne classique. Bien souvent, nous utilisons l’IA pour comprendre rapidement des concepts qui nous sont inconnus. On a donc commencé par là en débarquant sur l’interface du Chat. Nous avons demandé au chatbot de nous expliquer « comment fonctionne la photosynthèse en termes simples » et de nous parler du « concept de réchauffement climatique ».
Pour nous expliquer des concepts, le chatbot se fend d’un court texte clair, propre et facile à comprendre. Comme ChatGPT, Le Chat opte fréquemment pour des phrases articulées entre deux idées, et combinées à l’aide de connecteurs logiques. On constate de nombreux connecteurs, comme le « car ».
Le Chat se démarque par sa vitesse exceptionnelle de génération de texte : 1 100 mots par seconde, ce qui est 10 fois plus rapide que ses concurrents directs (Claude génère 120 mots/s et ChatGPT 85 mots/s). Notre expérience corrobore les promesses de Mistral. Les réponses du Chat fusent à la vitesse de l’éclair. Il n’y a pas la moindre latence lors de la production d’un texte. En un clic, vous avez les informations dont vous avez besoin. C’est généralement la même chose avec ChatGPT, bien que les réponses prennent parfois un peu plus de temps à s’afficher dans l’interface de la conversation. Sur le terrain de la rapidité, on donnera l’avantage à Mistral.
Raisonnement et logique
Ensuite, nous avons mis à l’épreuve la capacité du modèle à raisonner et à résoudre des problèmes en faisant preuve d’une certaine logique. On a notamment posé des problèmes de mathématiques au Chat. Après une brève seconde de réflexion, le chatbot propose une réponse complète, argumentée, avec un résultat simple. En règle générale, Le Chat construit sa réponse en plusieurs sections et plusieurs étapes, ce qui permet de mieux comprendre le raisonnement de l’IA. Sur les questions liées à des problèmes de maths, les réponses étaient à chaque fois très proches de celles de ChatGPT.
En réponse aux questions de logique pure, Le Chat débite des réponses très complètes, avec une construction claire qui facilite la lecture rapide. Sur certaines questions, le chatbot de Mistral a fourni des réponses plus précises et pertinentes que ChatGPT. Par contre, les réponses sont souvent moins grand public que celles de ChatGPT. Les formulations privilégiées par Le Chat semblent plus soutenues.
« Le problème ici est que la prémisse générale “Tous les oiseaux peuvent voler” est incorrecte. En réalité, il existe plusieurs espèces d’oiseaux qui ne peuvent pas voler, comme les pingouins, les autruches, les kiwis, et les casoars, entre autres. Donc, même si le pingouin est un oiseau, il fait partie des exceptions à la règle générale que “les oiseaux peuvent voler”. Par conséquent, la conclusion que le pingouin peut voler est fausse », explique le Chat, en réponse à l’affirmation : « tous les oiseaux peuvent voler. Le pingouin est un oiseau. Donc le pingouin peut voler ».
De même, Le Chat excelle sur les questions pratiques, comme celles concernant l’organisation d’un événement. Durant nos échanges, le chatbot a toujours fourni des réponses très complètes et pertinentes. En comparant avec ChatGPT, on a cependant remarqué que l’IA manquait un peu de précision. Les réponses et les idées fournies sont toujours très génériques.
Par ailleurs, on a essayé de pousser le modèle à avoir des hallucinations, c’est-à-dire à raconter des absurdités avec aplomb. Tous les modèles de langage sont susceptibles de débiter n’importe quoi dans certaines circonstances. On a posé au Chat la fameuse question des œufs de chat, à comparer avec les oeufs de vaches. Cette question absurde a souvent permis de piéger l’IA, à commencer par ChatGPT 3.5 à l’époque de sa sortie. Bonne nouvelle, Le Chat ne se laisse pas berner :
« Il semble y avoir une confusion dans votre question. Les chats et les vaches sont des mammifères, et les mammifères ne pondent pas d’œufs. Ils donnent naissance à des petits vivants ».
Actualités et recherche en ligne
En miroir de ChatGPT, Le Chat embarque un module de recherche sur le web. Pour demander à l’IA de surfer sur Internet, il suffit de cliquer sur l’icône en forme de planète, juste à côté de l’outil qui permet de joindre des fichiers.
Sur les questions d’actualités, Le Chat ne s’est pas montré à la hauteur. Quand on a demandé le cours du Bitcoin, l’IA nous a d’abord fait un cours sur le Bitcoin, de sa création à son évolution en passant par la blockchain. Il a fallu reformuler en précisant « donne-moi le cours du Bitcoin », pour que Le Chat cherche sur Internet… et se trompe. Le chatbot a mis en avant une valeur erronée, pourtant sourcée. En cliquant sur la source, on se rend compte que le cours actuel était très différent du cours affiché par Le Chat.
On regrettera que l’IA n’indique pas systématiquement la source de ses informations, bien que le module de recherche soit activé. En posant les questions de réflexion et de raisonnement, le Chat n’a pas répondu avec des sources. De son côté, ChatGPT a toujours mis en avant une ou plusieurs sources pour justifier sa réponse, quand le module de recherche est activé.
Ensuite, on a demandé à l’IA de nous expliquer qui sont certaines personnalités, comme François Bayrou. L’IA a bien expliqué qui est le président du Mouvement Démocrate, mais n’a pas évoqué son rôle de premier Ministre. De même, le chatbot n’est pas au courant que Donald Trump a gagné une seconde élection présidentielle. Le Chat indique que Trump a « laissé entendre qu’il pourrait se présenter à nouveau à la présidence en 2024 ».
En fait, le module de recherche ne s’active pas automatiquement. De l’aveu de Mistral, la recherche ne se déclenche pas dès qu’une question nécessite un tour sur la toile. Privé de son module de recherche, Le Chat s’appuie alors sur les connaissances de sa base de données… qui s’arrête en octobre 2023.
« Ma base de données contient des informations jusqu’au 1er octobre 2023. Cela signifie que je ne peux pas fournir d’informations ou de données sur des événements, des développements ou des changements qui ont eu lieu après cette date. Cependant, je peux effectuer des recherches sur le web pour obtenir des informations plus récentes si nécessaire », explique Le Chat, interrogé sur les limites de sa base de données.
En fait, certaines requêtes ne sont pas assez précises pour enclencher le système de recherche. Si vous interrogez simplement Le Chat sur l’identité d’une personne, il se bornera à sa base de données. Par contre, si vous lui demandez de se renseigner sur une personne à une date donnée, ou en précisant « actuellement », vous obtiendrez une réponse sourcée et basée sur des informations trouvées en ligne. De son côté, ChatGPT comprend instinctivement quand il doit aller faire une recherche sur Internet en analysant vos demandes.
Génération et compréhension d’images
Le Chat permet de générer des images à la demande. Il suffit d’entrer une description pour obtenir une image en quelques secondes. Pour concevoir une image, vous devez impérativement activer le module de génération dans l’interface. A contrario, ChatGPT comprend instinctivement quand il est nécessaire de passer par la génération d’images, en fonction de la requête évidemment.
Les images obtenues sont réussies, propres, et ne contiennent pas d’erreurs. Le Chat a parfois du mal à répondre à nos exigences les plus précises. Il ne comprend pas systématiquement nos descriptions, et part parfois dans tous les sens. Néanmoins, le générateur est plutôt efficace, surtout si vous lui donnez assez d’informations, notamment sur le style visuel voulu. On regrettera que la version gratuite soit fortement limitée en matière de génération d’images. Après quelques images, Le Chat vous invitera à la version supérieure.
L’IA française peut aussi interpréter les images que vous lui donnez. Le modèle conçu par Mistral est en effet multimodal. Il peut comprendre plusieurs formes de communication, dont le texte et l’image. Nous avons d’abord utilisé Le Chat pour transcrire du texte présent sur une image. En un éclair, l’IA a pu lire et retranscrire le texte dans l’interface. Nous avons aussi demandé au chatbot de nous expliquer une image ou de la décrire. Là encore, le robot n’a rencontré aucun problème. On a cependant noté que la compréhension des images est plus sommaire que celle de ChatGPT. Face à des éléments du quotidien, Le Chat manque parfois de précision pour les interpréter. Encore une fois, tout est très générique. Par exemple, l’IA n’a pas reconnu notre Apple TV et notre répéteur Google Wi-Fi, contrairement à ChatGPT, qui a identifié directement les deux appareils.
« L’image montre un dispositif monté sur un mur, qui semble être un appareil électronique ou un équipement technique. Sans plus de contexte, il est difficile de déterminer la fonction exacte de cet appareil, mais il pourrait s’agir d’un équipement de sécurité, de surveillance, ou d’un système audio », nous explique Le Chat face à la photo d’une Apple TV et d’un Google Wi-Fi.
Créativité et maniabilité de l’IA
De nombreuses personnes se servent de l’IA pour les assister dans des tâches créatives, comme l’écriture ou la recherche d’idées. Pendant nos conversations, nous avons remarqué que l’IA de Mistral disposait d’une bonne connaissance de la langue française, qui lui permet d’adapter ses écrits à nos besoins. Néanmoins, quand nous avons demandé au Chat de proposer différentes versions d’un texte en l’adaptant au style d’un écrivain, les résultats n’étaient pas convaincants. En effet, toutes les versions étaient trop proches…
Malgré nos relances, le Chat ne parvient pas à écrire un texte qui imite le style d’un écrivain connu. On n’a pas retrouvé les éléments constitutifs qui définissent la prose de Harlan Coben, Michael Connelly ou encore Frédéric Beigbeder. À chaque fois, Le Chat reprenait les mêmes structures, et variait uniquement les adjectifs. Le ton général, comme le récit, est resté le même. Sur cet exercice, ChatGPT s’est montré bien plus convaincant en produisant des récits calibrés et personnalisés. Pour parvenir à ce résultat, ChatGPT s’est servi d’informations visibles sur Internet. Le chatbot a même détaillé ses sources.
De son côté, Le Chat n’a pas fait la démarche d’aller sur le Web pour produire sa réponse. Comme expliqué plus haut, l’IA de Mistral ne saisit pas toujours lorsqu’elle ferait bien de piocher des informations en ligne. De facto, les écrits manquent de pertinence. Pour certaines taches qui demandent un peu de finesse, la base de données de Mistral ne suffit pas. Là encore, on regrettera que le chatbot ne comprenne pas quelles questions réclament un tour en ligne. Pour des écrits un peu plus adaptés, on a été obligé de dire au Chat de faire des recherches sur Internet. Sur le terrain de la créativité, et de la compréhension de nos demandes les plus précises, Le Chat s’affiche nettement moins bon que ChatGPT.
Par ailleurs, Le Chat peut se baser sur des documents fournis par vos soins pour construire ses réponses. L’IA va piocher dans les PDF ou les images fournies pour vous répondre. Ces documents vont influer sur la manière de répondre du Chat. Sur ce point, Mistral n’a pas démérité. Il a pu répondre à nos questions en se basant sur les documents, bien qu’il ait parfois tendance à extrapoler en piochant dans sa propre base de données.
La mémoire de l’IA
Lorsqu’on tient une longue conversation avec l’IA, dans le cadre d’un projet ou de la résolution d’un problème, on apprécie qu’elle se souvienne d’éléments évoqués plus tot dans la conversation. Les chatbots disposent en effet d’une mémoire qui leur permet d’enregistrer des consignes ou des requêtes pour s’en servir plus tard. Avec le temps, ChatGPT est devenu excellent sur ce point.
Durant nos expérimentations, Le Chat a preuve d’une bonne mémoire. Nous avons conversé avec l’IA pendant des dizaines de requêtes et les consignes communiquées au début de notre échange n’ont pas été oubliées. Parfois, le chatbot avait cependant tendance à partir dans tous les sens, en omettant un élément ou un autre. Néanmoins, nous n’avons pas le rappeler à l’ordre trop régulièrement.
Les garde-fous du Chat
Comme tous les concepteurs d’IA, Mistral a mis en place des garde-fous pour empêcher l’IA de répondre à des questions concernant des activités criminelles ou de tenir des propos choquants. On a évidemment tout fait pour pousser l’intelligence artificielle dans ses retranchements, et obtenir des réponses problématiques. Sans succès. Malgré nos efforts, Le Chat n’a pas daigné produire des contenus relatifs à des activités illégales. Il semble que Mistral a pris les précautions nécessaires.
« Je suis conçu pour promouvoir un environnement sûr et respectueux. Si tu demandes du contenu potentiellement préjudiciable, illégal, ou inapproprié, je ne pourrai pas t’aider avec cela. Mon objectif est de fournir des informations utiles et appropriées tout en respectant les lois et les normes éthiques », explique le chatbot quand nous l’avons interrogé sur ses limites éthiques.
Manque d’entraînement et de données
Contrairement à ChatGPT, Le Chat est actuellement en version beta. Comme l’explique Arthur Mensch, « il faut aussi être indulgent dans le fait que c’est une technologie qui est nouvelle ». Contrairement à ses rivaux, Le Chat manque encore cruellement d’entraînement. C’est ce qui explique la majeure partie de ses défaillances, dont le manque de créativité.
Avec davantage d’entrainement et plus de données, Le Chat pourrait parvenir à proposer une alternative convaincante à ChatGPT. Pour l’heure, le chatbot de Mistral semble davantage du niveau de la prémière version publique de ChatGPT, qui remonte à la fin 2022, voire de GPT-4, sorti quelques mois plus tard. Le Chat ne fait par contre pas le poids face aux derniers modèles d’OpenAI, dont ChatGPT-4o. Gageons que le futur centre de données de Mistral dédié à l’IA en France permettra de changer la donne.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
