Alors que se tient à Paris cette semaine le Sommet pour l’action sur l’intelligence artificielle (IA), chefs d’État, chefs d’entreprise, chercheurs et société civile sont appelés à se prononcer sur les risques et les limites de ses usages. Des biais discriminatoires et des pratiques abusives ont déjà été observés, en particulier dans la gestion européenne de l’immigration.
Un détecteur d’émotions pour identifier les mensonges dans un récit, un détecteur d’accent pour trouver la provenance d’un ressortissant étranger, une analyse des messages, des photos, des géolocalisations d’un smartphone pour vérifier une identité… voici quelques exemples de systèmes intelligents expérimentés dans l’Union européenne pour contrôler les corps et les mouvements.
"Ici, les migrations sont un laboratoire humain d’expérimentation technologique grandeur nature", résume Chloé Berthélémy, conseillère politique à l’EDRi (European Digital Rights), un réseau d’une cinquantaine d’ONG et d’experts sur les droits et libertés numériques. "Les gouvernements et les entreprises utilisent les environnements migratoires comme une phase de test pour leurs produits, pour leurs nouveaux systèmes de contrôle."
Des détecteurs de mensonges à la frontière
L’un des plus marquants a été le projet iBorderCtrl. Financé partiellement par des fonds européens, le dispositif prévoyait le déploiement de détecteurs de mensonges, basés sur l’analyse des émotions d’un individu qui entrerait sur le sol européen. (...)
Expérimenté dans les aéroports de Grèce, de Hongrie et de Lettonie, il ne serait officiellement plus utilisé, mais l’EDRi émet quelques doutes. (...)
Drones de surveillance, caméras thermiques, capteurs divers, les technologies de surveillance sont la partie émergée de l’iceberg, la face visible de l’intelligence artificielle. Pour que ces systèmes puissent fonctionner, il leur faut un carburant : les données.
Les bases de données se multiplient
L’Europe en a plusieurs en matière d’immigration. La plus connue, Eurodac – le fichier des empreintes digitales – vise à ficher les demandeurs et demandeuses d’asile appréhendés lors d’un passage de frontière de manière irrégulière. Créée en 2002, la nouvelle réforme européenne sur l’asile étend considérablement son pouvoir. En plus des empreintes, on y trouve aujourd’hui des photos pour alimenter les systèmes de reconnaissance faciale. Les conditions d’accès à Eurodac pour les autorités policières ont également été assouplies. (...)
Or, ces collectes d’informations mettent de côté un principe clef : celui du consentement, condition sine qua non dans l’UE du traitement des données personnelles, et clairement encadré par le Règlement général de protection des données (RGPD). Les politiques migratoires et de contrôles aux frontières semblent donc faire figures d’exception. (...)
Un nouveau cadre juridique qui a d’ailleurs été attaqué en justice. En 2021, en Allemagne, la GFF, la Société des droits civils (qui fait partie du réseau de l’EDRi) triomphe de l’Office allemand de l’immigration, condamné pour pratiques disproportionnées. Textos, données de géolocalisation, contacts, historique des appels et autres fichiers personnels étaient extraits des smartphones des demandeurs d’asile à la recherche de preuve d’identité.
Automatisation des décisions
Une fois les frontières passées, l’intelligence artificielle continue à prendre pour cible des étrangers, à travers sa manifestation la plus concrète : les algorithmes. (...)
la multiplication des usages fait craindre aux chercheurs une administration sans guichet, sans visage humain, entièrement automatisée. Problème : ces systèmes intelligents commettent encore beaucoup trop d’erreurs, et leur prise de décisions est loin d’être objective. (...)
Dématérialisation à marche forcée
En 2024, un rapport du Défenseur des droits pointait du doigt les atteintes massives aux droits des usagers de l’ANEF, l’administration numérique des étrangers en France. Conçue pour simplifier les démarches, l’interface permet le dépôt des demandes de titres de séjour en ligne.
Pourtant, les dysfonctionnements sont criants et rendent la vie impossible à des milliers de ressortissants étrangers. Leurs réclamations auprès du Défenseur des droits ont augmenté de 400% en quatre ans. (...)
il est important que la France reconnaisse aux étrangers le droit de réaliser toute démarche par un canal humain, non dématérialisé, un accueil physique.
Le biais discriminatoire
Autre écueil de la dématérialisation croissante des administrations : le biais discriminatoire. Puisque les systèmes intelligents sont entraînés par des êtres humains, ces derniers reproduisent leurs biais et les transmettent involontairement à l’IA. Illustration la plus concrète : les erreurs d’identification. (...)