Après plus d’un an de mobilisation contre les pratiques de notation des allocataires de la CAF au côté des collectifs Stop Contrôles et Changer de Cap1, et après avoir détaillé le fonctionnement de l’algorithme de la CAF et son cadre politique, nous publions aujourd’hui le code source de cet algorithme de notation. Nous vous invitons aussi à consulter notre page de présentation sur l’utilisation d’algorithmes similaires au sein d’autres administrations.

Petit à petit, la lumière se fait sur un système de surveillance de masse particulièrement pernicieux2 : l’utilisation par la CAF d’un algorithme de notation des allocataires visant à prédire quel·les allocataires seraient (in)dignes de confiance et doivent être contrôlé·es.

Pour rappel, cet algorithme, construit à partir de l’analyse des centaines de données que la CAF détient sur chaque allocataire3, assigne un « score de suspicion » à chaque allocataire. Ce score, mis à jour chaque premier du mois, est compris entre zéro et un. Plus il est proche de un, plus l’algorithme juge qu’un·e allocataire est suspect·e : un contrôle est déclenché lorsqu’il se rapproche de sa valeur maximale4.
Lever l’opacité pour mettre fin à la bataille médiatique

Nos critiques portent tant sur la nature de cette surveillance prédictive aux accents dystopiques que sur le fait que l’algorithme cible délibérément les plus précaires5. Face à la montée de la contestation, les dirigeant·es de la CAF se sont réfugié·es derrière l’opacité entourant l’algorithme pour minimiser tant cet état de fait que leur responsabilité dans l’établissement d’une politique de contrôle délibérément discriminatoire. Un directeur de la CAF est allé jusqu’à avancer que « l’algorithme est neutre » et serait même « l’inverse d’une discrimination » puisque « nul ne peut expliquer pourquoi un dossier est ciblé »6.

C’est pourquoi nous avons bataillé de longs mois pour que la CAF nous donne accès au code source de l’algorithme, c’est à dire la « formule » utilisée par ses dirigeant·es pour noter les allocataires7. Nous espérons que sa publication mette un terme à ces contre-vérités afin, qu’enfin, puisse s’installer un débat autour des dérives politiques ayant amené une institution sociale à recourir à de telles pratiques.

L’algorithme de la honte… (...)

la publication du code source vient donner la preuve définitive du caractère discriminant des critères retenus. Ainsi, parmi les variables augmentant le « score de suspicion », on trouve notamment :

• Le fait de disposer de revenus faibles,
• Le fait d’être au chômage,
• Le fait d’être allocataire du RSA,
• Le fait d’habiter dans un quartier « défavorisé »8,
• Le fait de consacrer une partie importante de ses revenus à son loyer,
• Le fait de ne pas avoir de travail ou de revenus stables.

(...)
On observe également le ciblage des familles monoparentales, dont 80% sont des femmes (...)

Effets de seuil, discriminations et double peine

Il y a quelques mois, la CAF cherchait à minimiser la stigmatisation des plus précaires engendrée par son algorithme en expliquant que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière »14. Nos analyses viennent démontrer à quel point ce raisonnement est fallacieux.

Ce que montre notre graphique c’est justement que les variables socio-économiques ont un poids prépondérant dans le calcul du score, désavantageant structurellement les personnes en situation de précarité. (...)

Pire, la plupart des variables non financières sont en fait liées à des situations d’instabilité et d’écart à la norme – séparation récente, déménagements, changements de loyers multiples, modification répétée de l’activité professionnelle, perte de revenus, erreurs déclaratives, faible nombre de connexions web… – dont tout laisse à penser qu’elles sont elles-mêmes liées à des situations de précarité. A l’opposé de ce que veut faire croire la CAF, tout indique que cet algorithme fonctionne plutôt comme une « double peine » : il cible celles et et ceux qui, parmi les plus précaires, traversent une période particulièrement compliquée.
Clore le (faux) débat technique

La CAF ayant refusé de nous communiquer la version la plus récente de son algorithme, nous nous attendons à ce que ses dirigeant·es réagissent en avançant qu’iels disposent d’un nouveau modèle plus « équitable ». En anticipation, nous tenons à clarifier un point fondamental : il ne peut exister de modèle de l’algorithme qui ne cible pas les plus défavorisé·es, et plus largement celles et ceux qui s’écartent de la norme définie par ses concepteurs.

Comme nous l’expliquions ici de manière détaillée, si l’algorithme de la CAF a été promu au nom de la « lutte contre la fraude », il a en réalité été conçu pour détecter les « indus » (trop-perçus). Ce choix a été fait pour des questions de rentabilité : les indus sont plus nombreux et plus faciles à détecter que des cas de fraude dont la caractérisation nécessite, en théorie, de prouver une intention.

Or, ces indus ont pour cause principale des erreurs déclaratives involontaires, dont toutes les études montrent qu’elles se concentrent principalement sur les personnes aux minima sociaux et de manière plus générale sur les allocataires en difficulté. Cette concentration s’explique d’abord par le fait que ces prestations sont encadrées par des règles complexes — fruit des politiques successives de « lutte contre l’assistanat » — multipliant le risque d’erreurs possibles. (...)

Logiques policières, logiques gestionnaires

Dire cela, c’est enfin dépasser le débat technique et reconnaître que cet algorithme n’est que le reflet de la diffusion de logiques gestionnaires et policières au sein de nos administrations sociales au nom des politiques de « lutte contre la fraude ».

C’est en transformant les allocataires en « assisté·es », puis en risques pour la survie de notre système social que le discours de « lutte contre l’assistanat » a fait de leur contrôle un impératif de « bonne gestion » (...)

L’algorithme est entraîné pour détecter des trop-perçus s’élevant à 600 euros sur deux ans. Soit donc, 32 millions d’intimités violées par un algorithme à la recherche de… 25 euros par mois.
Lutter

L’Assurance maladie, l’Assurance vieillesse, les Mutualités Sociales Agricoles ou dans une moindre mesure Pôle Emploi : toutes utilisent ou développent des algorithmes en tout point similaires. À l’heure où ces pratiques de notation se généralisent, il apparaît nécessaire de penser une lutte à grande échelle.

C’est pourquoi nous avons décidé de faire de ces pratiques de contrôle algorithmique une priorité pour l’année à venir. Vous trouverez ici notre page dédiée à ce sujet, que nous alimenterons régulièrement.