Les biais viennent rarement d’une intention de discriminer. Ils naissent des données utilisées pour entraîner ou régler l’IA. L’exemple le plus connu est celui d’Amazon : son outil de tri de CV, entraîné sur dix ans de recrutements majoritairement masculins, pénalisait les candidatures qui mentionnaient le mot « femmes ». Le projet a été abandonné en 2018.
Dans un cabinet, le risque se cache souvent dans des critères qui semblent neutres. Un code postal, une interruption de carrière ou un nombre d’années d’expérience peuvent écarter certains profils sans que personne ne s’en rende compte. Trois précautions limitent ce risque :
- Choisir les critères avant de lancer l’outil, avec le client, en ne gardant que ceux qui sont directement liés au poste.
- Contrôler régulièrement les résultats, en comparant les profils retenus et écartés pour repérer un écart qui se répète.
- Faire relire une partie des candidatures écartées par un consultant, pour vérifier que l’IA n’a pas laissé passer un bon profil.
La discrimination à l’embauche est interdite, même lorsqu’elle est indirecte et non intentionnelle. C’est le cabinet qui en répond, pas l’outil.