Antoine a réconforté Bob car il était énervé. » A votre avis, qui était énervé : Antoine, ou Bob ? Pour vous, être humain, la question que nous venons de poser semble idiote. Bien sûr que c’est Bob, qui était énervé ! Mais pour une intelligence artificielle, ce n’est pas aussi simple que ça. Car répondre à une interrogation aussi bête que celle-ci réclame un vrai savoir : il faut comprendre les concepts de « réconfort » et « d’énervement » et savoir qu’ils sont liés, que l’on peut réconforter quelqu’un d’énervé.
C’est exactement ce que vont tenter de faire des machines dans un nouveau concours qui débutera l’année prochaine, sponsorisé par le spécialise de la reconnaissance vocale Nuance. Objectif : soumettre à des ordinateurs plus d’une quarantaine de questions stupides pour nous mais fort complexes pour une machine. A la clé pour l’éventuelle équipe gagnante, dont le programme parviendrait à répondre correctement à toutes les questions posées, donc à faire preuve d’un certain « sens commun » : 25 000 dollars.
Une alternative au test de Turing
Cette passionnante compétition, le Winograd Schema Challenge, se base sur les recherches d’un chercheur Québecois, Hector Levesque. Chercheur au département des sciences informatiques de l’Université de Toronto, Levesque a conçu une alternative, plus pertinente, au fameux « test de Turing » afin de déceler de l’intelligence chez une machine.
Le principe ? Formuler un petit test de compréhension à partir d’une phrase et d’une question à réponse binaire, comme celle décrite en ce début d’article. La phrase doit répondre à plusieurs exigences, notamment faire référence à deux parties différentes et que l’une de ces parties soit abstraite dans un pronom ou adjectif possessif (ici « il » à la place de Bob) dans sa seconde partie. L’ordinateur doit ainsi chercher à quoi ce « il » fait référence, en utilisant son « intelligence ».
Petite astuce supplémentaire, conçue pour empêcher des programmeurs suffisamment malins d’exploiter une astuce qui les ferait répondre juste à tous les coups : chaque schéma de Winograd doit pouvoir comporter un mot spécial pouvant être remplacé par un mot alternatif, ce qui change la réponse. Exemple : « Antoine a crié sur Bob car il était énervé. » Désormais, à la question « Qui était énervé ? » Antoine est bien la bonne réponse, et plus Bob !
Le Winograd Schema Challenge est bien plus pertinent que le test de Turing pour juger de la qualité d’une intelligence artificielle. On rappelle que ce dernier consiste à déclarer un ordinateur « intelligent » s’il parvient à faire croire à un juge qu’il est humain à l’occasion d’une conversation. Mais comme Levesque l’explique à la perfection dans le passionnant papier qui décrit sa technique de test, ce dernier a plusieurs défauts, à commencer par son postulat, qui consiste à faire mentir la machine… « Une machine devrait être en mesure de nous montrer qu’elle pense sans avoir à prétendre qu’elle est quelqu’un ou qu’elle a des propriétés qu’elle n’a pas. » écrit-il.
Watson d’IBM futur compétiteur ?
D’autre part, Levesque estime qu’une conversation n’est pas forcément le meilleur moyen de distinguer l’intelligence dans un programme informatique. Et cite notamment le chatbot Eliza, ce programme avec lequel Joseph Weizenbaum était parvenu à faire croire à des patients qu’ils discutaient avec un vrai psychiatre…
Plus récemment, une polémique a aussi éclaté après qu’une équipe de chercheurs russes a fait croire avoir passé le fameux test de Turing grâce à un chatbot maqué derrière un enfant de 13 ans. Sauf que leur protocole de test était bancal et ce robot de discussion pas plus intelligent qu’un autre.
On a hâte de savoir qui concourra à ce Winograd Challenge, qui promet d’être une belle compétition. On espère notamment y voir un concurrent qui pourrait être très sérieux : Watson, le supercalculateur d’IBM, qui en gagnant il y a quelques années au Jeopardy contre les meilleurs joueurs au monde a (presque) prouvé qu’il pouvait penser…
Source : Commonsense Reasoning / Exemples de schémas de Winograd
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
