À la suite d’un récent reportage critique de Follow the Money concernant l’utilisation de l’outil d’évaluation des risques de violence (RTI-G), la police a immédiatement cessé d’utiliser cet algorithme. Marc Schuilenburg, professeur de surveillance numérique à la faculté de droit Erasmus, a eu accès aux documents décrivant le raisonnement derrière cet algorithme et a fait part de ses inquiétudes concernant cet outil d’enquête à Follow the Money. Non seulement son efficacité n’a pas été évaluée par la police, mais les risques associés à son utilisation sont également très élevés. De plus, selon M. Schuilenburg, les questions éthiques et juridiques constituent des critiques importantes.
Depuis 2015, la police néerlandaise utilise un algorithme pour prédire, au niveau individuel, si une personne commettra des actes violents à l’avenir. Selon une étude menée par Follow the Money, les personnes d’origine antillaise, marocaine ou somalienne ont systématiquement obtenu des scores plus élevés jusqu’à la mi-2017 que les personnes d’autres origines. Bien que la police ait prétendument supprimé ce biais de l’algorithme, M. Schuilenburg affirme qu’un tel algorithme ne peut que poser des problèmes.
De graves lacunes
Le professeur est très critique à l’égard du RTI-G : « Les risques sont énormes. » Tout d’abord, parce qu’il est déjà très difficile de faire des prévisions fiables en matière de criminalité à l’échelle géographique, et que cela est encore plus improbable à l’échelle individuelle, selon Schuilenburg : « C’est beaucoup plus complexe. D’innombrables facteurs entrent en jeu. Chaque individu est différent. »
Le fait de classer une personne comme présentant un profil à risque confère à la police divers pouvoirs d’enquête intrusifs, tels que la possibilité d’effectuer des fouilles préventives et de fouiller le véhicule de la personne en question. Lorsque la police a l’intention de restreindre sévèrement la liberté d’un citoyen, une justification approfondie est nécessaire. Selon M. Schuilenburg, la justification fournie dans le document de responsabilité de l’algorithme est insuffisante : « les données d’entrée, le traitement et les résultats. Tout cela est insuffisant. » Schuilenburg affirme que le document manque d’informations appropriées sur les données utilisées, la sélection des facteurs de risque, la pondération, la manière dont le modèle a été validé et le contrôle des biais. De plus, aucune évaluation à mi-parcours n’est incluse dans le document : « Les facteurs de risque de cet instrument ont été conçus il y a dix ans, mais ils n’ont jamais été réexaminés. Cela ne peut tout simplement pas continuer ainsi. »
Société de précaution Schuilenburg examine pourquoi le gouvernement utilise de tels algorithmes prédictifs et comment ils fonctionnent : « En politique et dans la société, l’accent est mis sur la prévention des risques potentiels. Dans le passé, il y avait d’abord la suspicion, puis la surveillance. Aujourd’hui, c’est d’abord la surveillance, puis la suspicion. » Selon Schuilenburg, des instruments tels que cet algorithme policier peuvent voir le jour parce que la sécurité, l’efficacité et l’efficience dans notre société l’emportent sur la transparence, la non-discrimination et la responsabilité algorithmique. Cela conduit à quelque chose comme le RTI-G : « Ce n’est pas quelque chose que l’on devrait souhaiter. Non seulement sur le plan éthique, mais aussi sur le plan juridique. Ce modèle de risque correspond parfaitement à la définition de « risque élevé » dans la future réglementation de l’Union européenne sur l’intelligence artificielle. Il est en contradiction avec les exigences qui y sont énoncées. » Marc Schuilenburg se réjouit que la police ait cessé d’utiliser l’outil d’évaluation des risques de violence. Des doutes subsistent quant à l’utilité de cet outil, et il n’est pas certain que les agents l’utilisaient encore, a déclaré un porte-parole de la police à la suite du rapport de Follow the Money.