Bandeau
mcInform@ctions
Travail de fourmi, effet papillon...
Descriptif du site
La Quadrature du Net
Le règlement IA adopté, la fuite en avant techno-solutionniste peut se poursuivre
#surveillance #technopolice #IA #laquadraturedunet
Article mis en ligne le 26 janvier 2025
dernière modification le 24 janvier 2025

Réunis au sein du Conseil de l’Union européenne, les États-membres ont adopté hier le règlement IA, dédié à la régulation des systèmes d’Intelligence Artificielle. Cette étape marque l’adoption définitive de cet édifice législatif en discussion depuis 2021, et présenté au départ comme un instrument de protection des droits et libertés face au rouleau compresseur de l’IA. À l’arrivée, loin des promesses initiales et des commentaires emphatiques, ce texte est taillé sur mesure pour l’industrie de la tech, les polices européennes et autres grandes bureaucraties désireuses d’automatiser le contrôle social. Largement fondé sur l’auto-régulation, bardé de dérogations, il s’avère totalement incapable de faire obstacle aux dégâts sociaux, politiques et environnementaux liés à la prolifération de l’IA.

L’histoire avait commencé avec de belles promesses. En avril 2021, au moment de présenter sa proposition de règlement relatif à l’Intelligence Artificielle, la Commission européenne nous écrivait pour nous rassurer : elle porterait la « plus grande attention » à la pétition européenne lancée à l’époque contre la reconnaissance faciale. Le texte présenté quelques jours plus tard par la Commission s’accompagnait d’une proposition de moratoire sur certains de ces usages, au milieu d’un ensemble de mesures conçues pour mettre un minimum d’ordre dans un marché de l’IA en plein essor.

Deux ans plus tard, le Parlement européen poussait le texte un cran loin, étendant diverses interdictions relatives aux usages policiers des techniques d’IA, ou contre les systèmes de « scoring » et autres formes de « notation sociale ». Mais après les coups de butoir des gouvernements des États-membres, au premier rang desquels les autorités françaises, rien ou presque des promesses initiales ne subsiste. Reste un « paquet législatif » certes volumineux, voire bavard, mais aussi très flou. Le règlement fait la part belle à l’auto-régulation et s’avérera incapable de protéger l’intérêt général face à la prolifération programmée des systèmes d’IA.
Une loi pour faire proliférer l’IA

Comme nous l’avions craint, plutôt que d’élever les garanties en matière de droits fondamentaux, le règlement IA vise à faire proliférer la production de données et leur collecte au bénéfice de l’industrie. Les textes européens comme le Règlement européen sur la protection des données (RGPD), entrés en vigueur en 2018, se retrouvent en partie affaiblis par ces nouvelles règles spéciales applicables aux systèmes d’IA.

Mais pour les acteurs publics et privés ayant poussé à l’adoption de ce texte, l’enjeu prioritaire n’a jamais été de protéger les droits fondamentaux. Le règlement est fondé sur une approche « par les risques », classant les types de systèmes d’IA ou leurs domaines d’application (police, santé, emploi, etc.) en fonction de quatre catégories de risque (risque faible non ciblé par le règlement ; risque limité pour certains systèmes soumis aux seules mesures de transparence prévues par l’article 50 ; risque élevé soumis aux obligations diverses du règlement ; risque inacceptable pour les quelques pratiques interdites par l’article 5).

À travers cet édifice législatif destiné à réguler un sous-secteur de l’industrie informatique en pleine expansion, et alors que les controverses autour de l’IA se multiplient – qu’il s’agisse de ses effets déshumanisants sur le travail, de son coût environnemental, de son impact sur les droits fondamentaux –, l’objectif est avant tout de poser les conditions d’une plus grande « acceptabilité sociale » de ces technologies pour mieux les imposer.

Dans ce processus, Emmanuel Macron et le gouvernement français auront joué à merveille leur partition. (...)

La stratégie française est assumée. Elle se poursuit aujourd’hui à travers le projet de loi « simplification de la vie économique », qui vise notamment à accélérer les procédures de construction de data centers en faisant obstacle aux contestations locales. (...)

L’argument de la souveraineté numérique avancé par la France pour abaisser les exigences du règlement IA a donc bon dos, puisqu’en pratique l’État s’accommode très bien du renforcement des positions dominantes des multinationales de la tech.

En vertu du règlement adopté hier, ce sont les entreprises qui conçoivent les systèmes d’IA qui seront les premières compétentes pour de prononcer sur le niveau de risque que présentent leurs produits (article 43). (...)

De manière générale, les formes de régulation promues par le règlement s’assimilent essentiellement à de l’auto-régulation et au suivi de « bonnes pratiques », le tout sous l’égide d’organismes de standardisation de droit privé (le CEN-CENELEC au niveau européen ou l’AFNOR en France) au sein desquels l’industrie aura toutes latitudes2. Et si un peu de transparence est permise, pas question qu’elle mette pour autant en cause le sacro-saint « secret des affaires », mentionné à de multiples reprise dans le texte. (...)

Autre signe des considérations dont l’industrie fait l’objet, le chapitre VI contient un grand nombre de dispositifs réglementaires censés « soutenir l’innovation », afin de permettre au secteur privé d’entraîner ses modèles d’IA avec un soutien renforcé des pouvoirs publics.
La Technopolice en roue libre (...)

En pratique, toutes les formes d’IA policières contre lesquelles nous nous battons dans le cadre du projet Technopolice semblent permises par le règlement, de la VSA à la police prédictive. Tout au plus pourront-elles être considérées comme « à haut risque », car relevant de certains domaines d’applications sensibles définis dans l’annexe III3. Elles seront alors soumises à des obligations renforcées de transparence et de standardisation : les responsables de ces systèmes devront ainsi identifier, évaluer et traiter les « risques raisonnablement prévisibles (…) pour la santé, la sécurité ou les droits fondamentaux » (article 9.2), mettre en place des bonnes pratiques en matière de gouvernance des données (article 10), et tenir des registres liés aux activités de leurs systèmes (article 12). Standardisation et auto-régulation, sous l’égide d’agences publiques chargées d’organiser le tout, seront donc de mise.

La transparence des systèmes à haut risque restera extrêmement limitée en matière technopolicière. Car si de tels systèmes doivent normalement être répertoriés dans un registre public, les forces de l’ordre et les services d’immigration ont obtenu une dérogation (articles 49.4 et 71). Ils n’auront pas non plus à publier les études d’impact, ce qui est normalement obligatoire pour les systèmes à haut risque.

Enfin, même lorsqu’ils seront effectivement classés à haut risque, encore faut-il que les systèmes IA n’échappent pas à l’autre dérogation léonine ajoutée au texte. (...)

Toutes ces notions juridiques paraissent particulièrement larges et laissent la porte ouverte à tous les abus, a fortiori dès lors qu’elles sont laissées à l’appréciation d’acteurs privés.

Quant aux systèmes de police prédictive basés sur le calcul de scores de risque par zones géographiques, dont nous soulignions récemment les dangers en terme de discrimination, il semble qu’ils échappent à la définition très restrictive proposée en la matière dans l’annexe III relative aux systèmes à haut risque, et donc aux obligations prévues pour cette catégorie4.

Algos de contrôle social et greenwashing en embuscade (...)

La « notation sociale » – par exemple celle pratiquée par les Caisses d’allocations familiales que nous documentons depuis des mois – reste permise dès lors qu’elle ne relève pas, à l’instar des systèmes expérimentés en Chine, d’un système centralisé captant des données issues de contextes sociaux différents (police, travail, école, etc.) (considérant 31). Les notations sectorielles utilisées par les organismes sociaux pourront donc continuer de plus belle : bien qu’il les classe dans les applications à haut risque, et en dehors de quelques obligations procédurales déjà évoquées, le règlement n’apporte rien pour lutter efficacement contre les algorithmes discriminatoires des administrations sociales en matière de notation et de flicage des bénéficiaires.

Restent des déclarations de principe, dont la nature contradictoire devrait pourtant sauter aux yeux. (...)

À l’arrivée, loin de protéger les valeurs de démocratie, d’État de droit et de respect pour l’environnement que l’Union européenne prétend encore incarner comme un phare dans la nuit, le règlement IA reste le produit d’une realpolitik désastreuse. Face à l’étau formé par la Chine et les États-Unis, il doit en effet permettre de relancer l’Europe dans la course aux dernières technologies informatiques, perçues comme de véritables étalons de puissance. Non seulement cette course paraît perdue d’avance mais, ce faisant, l’Union européenne participe à légitimer une fuite en avant techno-solutionniste dangereuse pour les libertés et insoutenable au plan écologique.

La généralisation de l’IA, en tant que paradigme technique et politique, a pour principal effet de démultiplier les dégâts engendrés par la sur-informatisation de nos sociétés. Puisqu’il est désormais clair que ce règlement ne sera d’aucune utilité pour enrayer l’emballement actuel, c’est d’autres moyens de lutte qu’il va nous falloir collectivement envisager.