Les IA génératives, comme ChatGPT ou Google Bard, s’apprêtent à bouleverser de nombreux secteurs d’activités. Le domaine juridique n’y échappe pas. D’après des tests menés par l’Université du Minnesota, ChatGPT est d’ailleurs assez intelligent pour réussir un examen de droit de niveau universitaire.
Grisés par les possibilités offertes par le chatbot, certains juristes se sont rapidement tournés vers l’IA pour les assister dans leur travail. C’est le cas d’un juge colombien. Celui-ci s’est servi de ChatGPT pour rendre un verdict épineux. Concrètement, le chatbot a été utilisé pour organiser et structurer les recherches du magistrat. Pour le juge, le robot conversationnel s’est révélé être un assistant efficace.
À lire aussi : on a testé un « ChatGPT » non censuré… et ça fait peur
Cet avocat n’aurait pas dû utiliser ChatGPT
Malheureusement, le modèle linguistique n’est pas toujours à la hauteur des ambitions de son interlocuteur. Comme le rapportent nos confrères du New York Times, un avocat du nom de Steven A. Schwartz l’a compris à ses dépens. L’avocat était chargé de représenter un homme ayant déposé une plainte contre la compagnie aérienne colombienne Avianca. Le plaignant avait été blessé par un chariot métallique dédié aux bagages lors d’un vol vers New York.
Pour convaincre le juge de ne pas rejeter l’affaire, Schwartz a réalisé un rapport de 10 pages mettant en avant six affaires similaires. Celles-ci devaient convaincre le magistrat de ne pas enterrer les poursuites, le délai de prescription ayant été dépassé, comme le réclamait Avianca. Pour écrire l’argumentaire, l’avocat s’est appuyé sur ChatGPT.
Il a notamment demandé à l’IA générative de dénicher des affaires analogues en piochant dans son corpus de données. Le chatbot a répondu à sa requête… en inventant des affaires de toutes pièces. L’IA a généré de fausses citations, de faux exemples et de fausses décisions judiciaires. En consultant le document, les avocats d’Avianca n’ont pas trouvé la moindre trace des événements cités. Le juge a alors mené son enquête. Il a vite remarqué que les numéros de dossier relatifs aux affaires ne correspondaient pas.
« Six des affaires soumises semblent être de fausses décisions judiciaires avec de fausses citations », indique le juge.
Quand ChatGPT croit à ses mensonges
Dos au mur, l’avocat du plaignant a révélé avoir utilisé l’IA générative pour réaliser ses recherches. Il précise avoir interrogé le chatbot sur la véracité des éléments communiqués… et ChatGPT a soutenu que toutes les données étaient véridiques. Le chatbot a même assuré que toutes les citations pouvaient être retrouvées « dans des bases de données juridiques réputées ». Ce n’était pas le cas.
Apparemment, ChatGPT a mélangé les citations, les décisions et les détails de plusieurs affaires pour rédiger le document et adapter les faits à la demande de son interlocuteur. Dos au mur, Schwartz assure qu’il ne savait pas qu’il était possible que « son contenu puisse être faux ». Il affirme regretter « d’avoir utilisé l’intelligence artificielle générative pour compléter sa recherche juridique et ne le fera jamais à l’avenir sans vérification absolue de l’authenticité » des réponses. L’avocat indique qu’il n’avait pas « l’intention de tromper le tribunal ou la compagnie aérienne ».
Cette affaire illustre le plus gros problème des IA génératives. Tous les modèles de langage, de GPT-4 à PaLM 2 en passant par Alpaca ou Llama, sont susceptibles d’avoir des « hallucinations ». En clair, les IA se mettent à raconter n’importe quoi, à générer des faits erronés et à tordre la réalité, dans un excès de créativité. En conséquence, il ne faut surtout pas se fier aveuglément aux propos d’un chatbot…
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : New York Times
“ChatGPT croit à ses mensonges” comme de nombreux humains…
Réflexion intéressante
A nuancer toutefois ce genre de propos où l’on prêt des comportements humains à une IA: elle n’est pas “assez _intelligente_ pour réussir un examen de droit de niveau universitaire.”, elle n’est pas non plus en capacité de ‘croire’, ni même de mentir.
Rappelons juste qu’une IA n’a pas de conscience ni de sentiments, c’est un programme.
une IA (actuellement) ne fait que générer des phrases, basées sur un contexte sémantique. Si on lui demande de dire que c’est vrai, elle dira que c’est vrai, ça n’implique pas le fait qu’elle ait un quelconque “notion” de vérité.
Il faudrait rendre obligatoire de regarder (et bien comprendre) la vidéo de “Science étonnante” : Ce qui se cache derrière le fonctionnement de ChatGPT a chacun de ses utilisateurs, avant de preter a une “IA générative” une quelconque idée d’ “intelligence” ….
Ici le terme “Intelligence” devrait être rapproché du sens américain “renseignement”, comme dans l’acronyme ‘CIA’ ou “intelligence économique”.