Les décisions automatisées façonnent nos rapports au réel. Dans les champs du social, du privé au public, de la banque à la CAF, ils sont partout défaillants. D’abord, parce que les erreurs des calculs ne sont pas une responsabilité pour ceux qui produisent les calculs. Ensuite parce que les individus mal calculés voient leurs possibilités d’action réduites plutôt qu’élargies.
Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action.
Opacité et défaillance généralisée (...)
Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.
Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.
Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher.
A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.
Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder.
3 problèmes récurrents (...)
Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. (...)
certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.
Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.
Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit.
Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. (...)
Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…
Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. (...)
Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.
A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. (...)
Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. (...)
Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. (...)
Responsabiliser les calculs du social
Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. (...)
On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccord avec la réalité. Nous n’y sommes pas.