Calcul de l’impôt sur le revenu, prestations sociales de la CAF, lutte contre la fraude, accompagnement des demandeurs d’emploi… Alors que l’administration française a de plus en plus recours aux algorithmes et à l’intelligence artificielle, la Défenseure des droits tire la sonnette d’alarme. Dans un rapport publié mercredi 13 novembre, cette autorité administrative indépendante, chargée de défendre nos droits et libertés dans plusieurs secteurs, « s’inquiète des risques qu’induit “l’algorithmisation” des services publics pour les droits des usagers des services publics ».
Les algorithmes et les systèmes d’IA sont de plus en plus utilisés pour « automatiser, standardiser voire améliorer et/ou accélérer certaines procédures ou certaines étapes de procédures administratives ». Outre l’utilisation de chatbot pour répondre directement aux questions des usagers, certains services publics ont recours à des systèmes d’IA, dans de très nombreux secteurs comme l’aide sociale (CAF), les impôts (calcul de l’impôt sur le revenu), l’orientation scolaire (ParcourSup) ou encore le suivi des demandeurs d’emploi (France Travail).
À lire aussi : France Travail (ex Pôle emploi) épinglé par la Quadrature du Net pour son recours aux algorithmes
Des risques pour nos droits et libertés ?
Or, le fait qu’un nombre croissant de décisions administratives individuelles se base désormais sur des « résultats livrés par des algorithmes ou systèmes d’IA » n’est pas sans risques pour nos droits et libertés, explique Claire Hédon, Défenseure des droits depuis 2021. Les algorithmes ont souvent des biais qui peuvent entraîner des discriminations, rappelle l’autorité indépendante, citant à l’appui un rapport précédent de 2020 alertant sur le risque d’automatisation des discriminations des algorithmes.
Ce point a été soulevé à plusieurs reprises par des médias et des associations de défense des droits. En France, la Quadrature du Net dénonçait, en novembre 2023, des algorithmes de la Caisse nationale des allocations familiales (CNAF) qui ciblaient les plus précaires, selon l’association. Ces outils permettent à la CNAF de décider quel allocataire contrôler, dans le cadre de sa lutte contre la fraude sociale.
À lire aussi : Fraude aux allocations familiales : la CAF utilise bien des algorithmes qui ciblent les plus précaires, selon la Quadrature du Net
L’affaire a désormais été portée devant le Conseil d’État. Le mois dernier, quinze associations ont entamé une action en justice visant à faire cesser l’utilisation par la CNAF de cet algorithme de notation.
À lire aussi : Ces associations veulent faire supprimer l’algorithme de notation de la CAF… et les autres
Des garde-fous peu appliqués en pratique ?
Pourtant, rappelle la Défenseure des droits, l’administration peut, depuis une loi de 2018, baser certaines de ses décisions sur des traitements automatisés de données personnelles, sous réserve de respecter plusieurs conditions. Mais les garde-fous prévus par cette législation peinent à être appliqués dans la pratique. « La loi impose par exemple que les usagers soient informés des décisions automatisées qui les concernent, mais il reste difficile de définir le type et le niveau de détails requis pour que cette information soit utile et accessible », note l’autorité.
En d’autres termes, l’usager n’a pas forcément conscience que c’est l’algorithme de telle administration qui a conduit à telle décision. « Les modalités de prise de décision, dont le caractère automatisé et le fonctionnement, voire les éventuels biais, ne sont pas visibles de façon directe », regrette la Défenseure des droits.
Une loi impose normalement aux administrations de publier les « règles définissant les principaux traitements algorithmiques ». Mais dans les faits, elle n’est quasiment jamais appliquée, notamment parce qu’il n’existe pas de sanctions en cas de non-respect de cette obligation, selon le rapport.
Autre problème : les systèmes d’IA sont censés être supervisés par des humains. En pratique, leurs interventions ne sont souvent que trop limitées. La Défenseure des droits rappelle qu’il faut « placer le respect des droits des usagers au cœur des objectifs assignés aux managers publics comme aux agents de terrain et, corrélativement, de ne pas laisser l’administration se concentrer, notamment s’agissant du déploiement des systèmes algorithmiques, sur des objectifs prioritaires de réduction des coûts et de personnel et sur des indicateurs de rentabilité ».
À lire aussi : Aux États-Unis, des soignants contraints de suivre les consignes d’un algorithme
Supervision humaine réelle, des recours facilités… Les recommandations de la Défenseure des droits
L’autorité indépendante présente plusieurs recommandations à destination du gouvernement et des administrations. D’abord, estime-t-elle, les usagers devraient systématiquement être informés des rôles des algorithmes utilisés dans les décisions qui les concernent.
Les administrations devraient aussi « garantir réellement une supervision humaine effective dans les décisions algorithmiques, avec une capacité d’agir et de modifier le processus si nécessaire ». Claire Hédon préconise également de mieux nous protéger contre les biais des algorithmes, qui peuvent conduire à des discriminations.
À lire aussi : Pourquoi les algorithmes sont encore sexistes
L’autorité indépendante estime ni plus ni moins que l’utilisation de données personnelles sensibles – comme l’orientation sexuelle d’une personne, son origine raciale ou ethnique, ses opinions politiques, religieuses, son appartenance syndicale, des données de santé etc – devraient être clairement interdites dans les systèmes d’IA. Elle recommande enfin de faciliter les contestations des usagers contre les décisions algorithmiques qui s’imposent à eux, avec un recours systématique à une intervention humaine, en cas de litige.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : Rapport du 13 novembre 2024
