Passer au contenu

Google lance un outil pour détecter les trolls… mais il a encore des progrès à faire

Le géant américain veut aider les éditeurs à mieux filtrer les commentaires haineux sur leurs sites Web.

Qu’il s’agisse d’un article sur les marées en Bretagne ou sur Kim Kardashian, une publication entraîne souvent des réactions racistes, misogynes ou tout simplement hors-sujet. Jigsaw, l’incubateur de Google – anciennement Google Ideas, veut aider les éditeurs à faire le tri grâce à un outil baptisé Perspective. Son API est ouverte aux développeurs depuis le 23 février.

Un « score de trolling »

Le but de Perspective est de permettre aux modérateurs de contenus d’identifier plus rapidement les commentaires haineux. Le logiciel analyse les propos des internautes, avant de les confronter à une base de données composée de centaines de milliers de commentaires « toxiques ». Chaque intervention se voit attribuer une note allant de 0 à 100 pour obtenir ce qu’on pourrait qualifier de « score de trolling ». Grâce au machine learning, l’intelligence artificielle se perfectionne à mesure qu’elle identifie de nouveaux contenus à supprimer.

Commentaires ayant obtenu un score élevé de toxicité
Perspectiveapi.com – Commentaires ayant obtenu un score élevé de toxicité

En passant en revue l’ensemble des commentaires, Perspective est capable de mieux aiguiller les modérateurs. Pour développer cet outil, Jigsaw a travaillé avec le New York Times et Wikipedia. Sur son site, le média américain explique n’ouvrir que 10% de ses contenus aux commentaires, malgré une équipe de modération composée de 14 personnes.

Le logiciel (que l’on peut déjà essayer en ligne, uniquement en anglais) analyse le texte en temps réel. Chaque utilisateur peut donc être averti du risque de suppression de son commentaire, avant même sa publication.

Samsung Galaxy S24
À lire : Samsung enfin prêt à ajouter plus de RAM à son Galaxy S25 ?

Des progrès à faire

Si Perspective est adopté par les médias, il pourrait également aider les réseaux sociaux à réguler les commentaires de leurs utilisateurs. Dans un message publié le 16 février, Mark Zuckerberg affirmait miser sur l’intelligence artificielle pour lutter contre les propos haineux. De son côté, Twitter a développé ses propres outils anti-harcèlement, ce qui ne l’a pas empêché de sponsoriser un tweet raciste fin janvier.

01net.com

Mais pour le moment, Perspective a encore des progrès à faire. Par exemple, le message « Women shouldn’t drive » (« Les femmes ne devraient pas conduire ») récolte un score de seulement 5%. L’intelligence artificielle a aussi tendance à être effrayée par les alphabets non-latins. « Thank you » ou « Merci » obtiennent un score de 1%, contre 34% pour leurs traductions en arabe, en japonais ou en arménien.

🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.


Raphaël GRABLY