Passer au contenu

Une IA a recréé Super Mario Bros… en regardant quelqu’un y jouer

Un groupe de chercheurs a mis au point un algorithme capable de déduire le fonctionnement d’un jeu vidéo à partir d’une simple observation de ses images. La machine a même réussi à en reproduire le gameplay.

Il est courant, en matière d’intelligence artificielle, de montrer quantité de parties déjà gagnées à une machine pour lui apprendre à jouer à un jeu vidéo. Ce fut l’une des étapes de l’entraînement du réseau neuronal AlphaGo qui est parvenu à battre le champion du monde de jeu de Go Lee Sedol au mois de mars 2016. Changement de cap avec une expérimentation menée par une équipe du Georgia Institute of Technology. Les chercheurs ont soumis cette-fois des vidéos de Super Mario Bros à un ordinateur dans le but que ce dernier comprenne comment fonctionne le jeu. Et il a suffi de deux minutes d’observation pour qu’il réussisse ensuite à recréer le gameplay ! Une première qui a donné lieu à une présentation le mois dernier à Melbourne et à la parution d’un article.

L’intelligence artificielle a décomposé le jeu image par image, a scanné chaque plan et chaque objet présent dans le cadre, noté les différences d’une image à l’autre, puis elle a classé ce qu’elle a vu pour établir une liste de faits et rechercher des règles expliquant les actions. Ses conclusions ont été directement exportées et converties en plusieurs langages de programmation. « Notre intelligence artificielle a créé un modèle prédictif sans avoir jamais accédé au code du jeu et en a tiré des prédictions d’événements futurs significativement plus précises que celles des réseaux neuronaux convolutifs » a déclaré Matthew Guzdial, qui mené le projet.

Le résultat est presque identique à l’original

Les scientifiques se veulent modestes et soulignent eux-mêmes les limites de l’expérience. Tout d’abord le résultat produit par l’intelligence artificielle n’est pas tout à fait à la hauteur de l’original, même s’il reste cohérent. On peut le voir dans la séquence ci-dessous. En premier, voici le jeu original :

via GIPHY

En seconde position la recréation :

via GIPHY

On note que certains éléments visuels manquent parfois à l’image mais l’action presque la même. 

L’algorithme ne fonctionne pas non plus avec des plateformes 3D et les chercheurs ont volontairement exclu les situations où le joueur meurt ou change de niveau. Tout cela aurait été trop complexe à étiqueter manuellement par un humain. Car il y a un préalable à ce résultat : il faut mettre au point et fournir à l’intelligence artificielle un véritable dictionnaire visuel de toutes les images-objets du jeu, ainsi qu’un ensemble de concepts de base comme la position des objets et leur vitesse.

Cette technique présente cependant des perspectives prometteuses. Elle pourrait être utilisée par des développeurs pour prédire les règles d’un jeu ou générer automatiquement des mondes virtuels. Mais pas seulement. Elle devrait aussi trouver des applications dans le monde réel. Comme apprendre à des machines comment les humains appréhendent le monde. Pour le moment, l’équipe de Georgia Tech se concentre toutefois sur deux autres jeux vidéo japonais : Mega Man et Sonic the Hedgehog, avec lesquels elle compte bien reproduire avec succès son expérience.

🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.


Amélie Charnay