Un programme censé trier les CV avant embauche discriminait les candidates.

Amazon a tenté d’automatiser ses recrutements en les confiant à une intelligence artificielle (IA) secrète. Selon une source anonyme impliquée dans le projet, le géant du e-commerce voulait « un engin auquel on pouvait fournir 100 CVs [pour] qu’il recrache les cinq meilleurs et qu’on embauche ceux-là ».

Le succès d’Amazon repose en partie sur l’automatisation de toutes les étapes de son activité, du fonctionnement interne de ses entrepôts aux recommandations et à la fixation des prix sur son site Internet. Il semble donc naturel que l’entreprise étende cette automatisation à son recrutement.

L’IA copie les comportements humains

On pourrait même penser que c’est une bonne chose, puisqu’a priori des robots devraient être totalement objectifs, débarrassés de biais racistes ou sexistes que l’on trouve chez des humains. Or au contraire, les IA perpétuent ces biais. En effet, l’algorithme utilisé par Amazon, comme beaucoup d’autres, utilise ce qu’on appelle le « machine learning », c’est-à-dire qu’il se base sur des données pré-existantes et tente au mieux de les reproduire pour prendre des décisions.

L’IA s’appuyait sur les recrutements effectués durant les dix dernières années chez Amazon. (...)
Selon Reuters, le programme n’était qu’un test. Lorsque le biais sexiste a été découvert, des modifications ont été apportées, mais comme Amazon ne pouvait s’assurer qu’il n’y avait pas d’autres discriminations, il a abandonné son algorithme en fin d’année dernière. Pour autant, le groupe n’a pas renoncé à trouver une formule qui pourrait le remplacer.