Vous vous sentez coupable, et vous vous confessez dans un message envoyé à un proche ? Prudence : ce texte pourrait être détecté par cette intelligence artificielle, développée par des chercheurs de l’université Ben Gourion du Néguev en Israël. Yair Neuman et Yochai Cohenqui ont présenté ce nouveau système dans un article de la revue Scientific Reports en mai dernier. Ils y expliquent avoir créé un outil capable de déceler automatiquement des « violations des normes sociales ». Point surprenant ou inquiétant, selon les points de vue : ils ont été financés par la DARPA (pour « Defense Advanced Research Projects Agency »), une agence du Pentagone, révèle le Jerusalem Post, le 23 juillet dernier.
De quoi s’agit-il ? Dans les colonnes de la revue scientifique, ces chercheurs indiquent qu’il existe dans le monde autant de normes sociales que de cultures. Les normes sociales sont des règles souvent informelles qui vont définir dans une société ce qui est acceptable et ce qui ne l’est pas, au sein d’un collectif. Et si on peut trouver des règles communes – par exemple, tuer ou arriver ivre et sale au bureau constituent pour la majorité des gens et des cultures une violation des normes sociales – elles diffèrent souvent en fonction d’un pays ou d’un contexte. Ce qui est mal vu ou inacceptable dans telle zone du monde ne le sera pas forcément dans une autre. La nudité est généralement tolérée sur une plage nudiste, mais proscrite en public, écrivent les chercheurs dans leur article.
La détection de la honte, de l’embarras ou du regret
Ces derniers ne se sont pourtant pas lancés dans une vaste enquête sur les normes sociales. Ils ont posé le problème différemment. Les chercheurs ont estimé qu’il suffisait d’analyser les émotions – qui, elles, sont communes à toutes les cultures – résultant d’un texte (un SMS, un e-mail) pour déterminer s’il y a eu ou pas une violation d’une norme sociale. « Par exemple, lorsque les gens ressentent de la honte, de l’embarras ou du regret, on suppose qu’ils reconnaissent la violation d’une norme sociale », écrivent les auteurs.
Le cœur de leur recherche a été d’apprendre à l’IA à reconnaître ces émotions, considérées comme des variables, des caractéristiques mesurables qui signalent qu’une norme a été violée. L’IA (ici GPT-3), face à un texte écrit, identifierait d’abord de quelle norme sociale il s’agit, parmi dix catégories définies par les chercheurs comme la compétence, la politesse, la confiance, la discipline, la bienveillance, la politesse, le succès, la conformité, la décence et la loyauté.
À quoi servira cette étude et que cherche le Pentagone ?
Ils lui ont ensuite demandé si les textes en question paraissaient positifs ou négatifs. En d’autres termes, le modèle de langage a appris à déterminer si la culpabilité ou la honte étaient présents. En cas positif, il s’agirait d’une violation d’une norme sociale. Le système a ensuite été testé sur deux ensembles massifs de textes courts. Et ce fut un succès, selon les chercheurs. « Il s’agit d’un travail préliminaire, mais il prouve que notre approche est correcte et qu’elle peut être étendue à un plus grand nombre de normes sociales », explique le professeur Neuman, l’un des deux chercheurs qui dirige le Functor Lab, dans le domaine des sciences cognitives et cérébrales.
De quoi « combler le fossé entre les sciences sociales et la science des données en élaborant des modèles simples et théoriquement fondés qui permettent de classer avec succès les cas de violation des normes », soulignent les auteurs dans leur article. À l’avenir, ils espèrent que leur IA pourra analyser automatiquement des historiques de conversation, à la recherche de signes de comportements inappropriés – encore une fois, selon les normes sociales.
À quoi servira cette étude et que cherche le Pentagone avec ce financement ? Difficile à dire. Pour nos confrères de Gizmodo, le Pentagone pourrait créer une IA qui serait capable d’analyser les émotions des populations étrangères dont le pays est en guerre contre les États-Unis. Ces travaux s’ajoutent aux nombreuses autres recherches liées à l’analyse des sentiments. Et comme ces derniers, ils soulèvent de nombreuses questions éthiques, notamment liées à la vie privée et à l’utilisation des données. Si par exemple des messages sont analysés par cette IA, dans un futur plus ou moins proche, les individus concernés auront-ils donné leur consentement ? Sauront-ils que leurs textes passent au crible de cette IA ? Cela démontre aussi que la Défense américaine a bien inclus l’IA dans ses champs de recherche. Qu’en fera-t-elle ? C’est toute la question, pour l’instant restée sans réponse. Contactée par nos confrères de Gizmodo, la DARPA n’a pas répondu à leur sollicitation.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : Scientific Reports
Un bout de scotch sur la caméra et big brother peut aller se brosser 😀
Il faut prendre un peu de recul pour analyser cela.
Pourquoi une agence militaire Américaine liée au pentagone veut elle savoir quand les gens sont en conflit selon leur propre norme ?
On parle de la darpa tout de même, ce n’est pas une organisation humanitaire, au contraire.
Si on souhaiterait chercher des terrains propices aux révolutions colorées on ferait pas mieux.