L’IA responsable d’une erreur judiciaire ? Si l’histoire n’est pas allée jusqu’au procès, elle a tout de même été synonyme pour Randal Reid, un Américain vivant en Géorgie, d’une semaine de prison. Cet après-midi-là, raconte le jeune homme de 29 ans à nos confrères du New York Times, celui qui est analyste des transports roule au volant de sa Jeep blanche, direction l’appartement de sa mère, le lendemain de Thanksgiving. Jusqu’ici, rien d’anormal : il estime rouler sans excès, « sans rien faire de fou », se remémore-t-il. C’est à ce moment-là qu’il est arrêté pour ce qu’il pense être un simple contrôle routier.
Incapable de fournir son permis de conduire oublié à son domicile, le presque trentenaire se retrouve quelques minutes plus tard menotté et embarqué dans une voiture de police. Car lorsque l’agent fait une recherche rapide sur l’immatriculation du véhicule, il tombe sur deux mandats d’arrêt et pense avoir affaire à un fugitif.
Une erreur du logiciel de reconnaissance faciale
« Pourquoi m’emmène-t-on ? Que me reproche-t-on ? », demande Randal Reid. Face à ces questions, la police lui explique simplement qu’il y a deux mandats d’arrêt contre lui pour des faits commis en Louisiane. Problème : il n’est jamais allé dans cet État situé à plus de 700 km d’Atlanta. Ses parents engagent des avocats, dépensent des milliers de dollars et remuent ciel et terre pour tenter de sortir leur fils de cette situation rocambolesque. Ce dernier ne saura les causes de son mandat d’arrêt que des jours après avoir été arrêté. On l’accuse d’avoir utilisé des cartes de crédit volées pour acheter des sacs à main de marque.
Et il faudra six jours pour que la police finisse par comprendre que le presque trentenaire ressemblait terriblement à un suspect filmé par une caméra de surveillance. Et que son arrestation est le résultat de plusieurs erreurs, à commencer par la première, commise par… un logiciel de reconnaissance faciale. Car c’est bien une IA qui l’a identifié, à tort, sur les vidéos de surveillance. Deuxième problème : cette identification par l’IA n’est pas mentionnée dans les documents officiels de police. Non, à la place, on peut lire que le suspect a été identifié grâce à une « source crédible » par l’agent en charge de l’affaire.
Le jeune homme mis hors de cause parce que le suspect a de plus gros bras que lui
Le quiproquo est découvert par l’avocat de Louisiane embauché par les parents du jeune homme. Lorsque ce dernier apprend que son client est accusé d’avoir volé deux sacs à main Chanel et un sac Louis Vuitton marron, d’une valeur totale de près de 13 000 dollars, le professionnel se rend sur place, là où les vols ont eu lieu. C’est à ce moment-là que le gérant lui montre une vidéo surveillance, et qu’il se rend compte qu’un des suspects ressemble beaucoup à son client.
L’avocat comprend alors que c’est cette vidéo qui est à l’origine des mandats d’arrêt – la technologie de reconnaissance faciale n’apparaissait nulle part dans la procédure. Le professionnel remarque aussi ce qui va sauver son client : le suspect a des plus gros bras que le trentenaire d’Atlanta.
Un moteur de recherche basé sur des milliers de visages accessibles sur le web
À l’origine : la municipalité où se sont déroulés les faits a conclu un contrat avec la société Clearview AI qui lui fournit des services de reconnaissance faciale. Cette entreprise a créé une base de données, avec un moteur de recherche, basé sur des milliards de visages accessibles sur le web – y compris ceux trouvés sur des réseaux sociaux. Elle aurait extrait près de 30 milliards de photos des réseaux sociaux, sans le moindre consentement des premiers concernés, révélait la BBC le 27 mars dernier. C’est ce qui explique que l’accusé d’Atlanta se soit retrouvé dans cette base – bien qu’il n’ait jamais mis les pieds dans cet État américain – notamment parce qu’il a un compte LinkedIn et Facebook sur lequel il partage des photos.
La police américaine, qui n’a pas souhaité commenter cette affaire, a expliqué qu’elle n’avait généralement pas besoin de mentionner l’utilisation de l’IA dans un dossier. Notamment parce que cette technologie est utilisée comme un outil d’aide pour les forces de l’ordre. Une fois un suspect identifié, la piste doit normalement être creusée. Mais parfois, cette investigation poussée n’a pas lieu, détaille Clare Garvie, spécialiste de l’utilisation de la reconnaissance faciale par la police, interviewée par nos confrères. Selon l’experte, il existe quatre autres cas connus d’arrestations injustifiées qui seraient le fruit d’une erreur de reconnaissance et d’une investigation peu poussée. Tous les individus concernés étaient des hommes noirs.
Sauvé par son grain de beauté
En Louisiane, la défense s’organise. L’avocat du jeune homme envoie photos et vidéos de son client à la police locale. L’objectif : montrer que ce dernier n’est pas le suspect identifié sur la vidéo surveillance. Et ce ne sont pas les bras plus fins du trentenaire qui ont convaincu les officiers de police, mais un grain de beauté sur son visage que le suspect n’avait pas.
Randal Reid est alors sorti de prison, six jours après y avoir été emmené. Soulagé, il envisage de porter plainte pour arrestation abusive. Sa situation pourrait-elle servir d’avertissement quant à l’usage dangereux de cette technologie ? Le jeune homme ne répond pas à la question, mais déclare : « Imaginez que vous viviez votre vie et que vous êtes accusés d’un crime commis très loin de chez vous, dans une ville où vous n’avez jamais mis les pieds ». Lui s’estime chanceux. Il a heureusement pu payer des avocats et se défendre. Mais pour Rashad Robinson, président de l’association Color of Change, il faut « imaginer tous ceux qui n’ont pas des milliers de dollars à jeter par la fenêtre ».
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : The New York Times
Il ne faut pas jeter le bébé avec l’eau du bain. Le problème ce n’est pas l’IA, qui comme toute machine a un taux d’erreur. Il faut simplement l’utiliser comme un détecteur, mais vérifier systématiquement après. Ne pas prendre directement le résultat pour vrai.
Vous ne comprenez pas l’enjeu majeur de l’IA : remplacer l’avis d’un humain faillible par une IA qui résout des problèmes sans jamais se tromper (elle a vocation à être infaillible). Vos n’empêcherez jamais l’humain en bout de chaîne de se fier sans aucune réflexion personnelle à un résultat automatisé. Par paresse intellectuelle et surtout parce que sa responsabilité personnelle devient très subjective.