Les systèmes algorithmiques s’imposent dans les sphères publique et privée avec leur lot de défis, de la conception à l’usage : erreurs, biais, discriminations… Comment préserver la transparence et le libre arbitre humain ?
En janvier 2021, le Premier ministre néerlandais ainsi que son gouvernement sont contraints de démissionner. En cause ? Un système algorithmique biaisé. Mis en place pour détecter les demandes d’allocations familiales erronées et potentiellement frauduleuses, il a accusé à tort des dizaines de milliers de personnes de fraude. De plus, il ciblait surtout les personnes n’étant pas de nationalité néerlandaise, car il considérait que cela constituait un facteur de risque. Au Royaume-Uni, à l’été 2020, un algorithme de classement scolaire provoquait un tollé national. Conséquence de son utilisation, 40 % des étudiants ont obtenu une notation inférieure ne reflétant pas leurs résultats antérieurs. Des lycéens scolarisés dans des zones défavorisées ne pouvaient alors plus accéder aux universités prestigieuses pour lesquelles ils étaient pressentis. Aux États-Unis, Compas, l’algorithme utilisé pour guider la détermination de la peine en prédisant la probabilité d’une récidive criminelle est accusé, dès 2016, de pénaliser les Afro-Américains. Alors que le recours à des systèmes algorithmiques s’intensifie dans la sphère publique (demande d’allocations, candidature d’entrée à l’université ou à un emploi, obtention d’un prêt, souscription d’une assurance, etc.), les scandales se multiplient et la défiance s’installe. Dans son livre Algorithmes : la bombe à retardement, paru en 2017, la mathématicienne Cathy O’Neil les qualifie même d’armes de destruction mathématique. Les problèmes posés par les algorithmes sont nombreux, mais pour les professionnels, les questions d’opacité, des biais et de l’adaptation du droit à ces nouveaux outils prédominent.
Le premier grief formulé à l’encontre des algorithmes d’apprentissage automatique (machine learning) prenant leur décision à partir d’un historique de données repose sur leur complexité.
Un algorithme simple, explicable, ne permet pas d’approcher le réel avec assez de qualité et de précision. Parfois, ce n’est pas tant l’algorithme qui est complexe, difficile à interpréter, que la réalité sous-jacente .
« Quand il s’agit de modèles statistiques élémentaires où seuls quelques facteurs ou variables interviennent, la décision qui en découle est interprétable ou compréhensible. Mais lorsqu’il s’agit d’un modèle ou algorithme où interviennent des milliers, voire des millions de paramètres pour construire une décision, cette dernière devient totalement opaque.