La bombe mathématique

Cathy O'Neil, mathématicienne, Les dangers des algorithmes, 2018

La bombe mathématique
Mark Hunyadi, le 21 déc. 2018 - Le Temps

Le recours aux algorithmes pour organiser des pans entiers de la vie s’impose à un rythme toujours plus soutenu. Bardés de toutes les qualités, ces outils recèlent pourtant des dangers insoupçonnés. Mathématicienne chevronnée, l’Américaine Cathy O’Neil en livre la démonstration implacable

Cathy O’Neil, «Algorithmes. La bombe à retardement», éd. Les Arènes, 2018

Lecture automatique de CV, détermination de primes d’assurance automobile personnalisées, estimation des probabilités de récidive d’un condamné, publicité ciblée, évaluation des universités, attribution d’un crédit ou communication politique: on ne compte plus les domaines gérés par les algorithmes. Ils sont pratiques, efficaces et meilleur marché que leur équivalent humain, ce qui explique leur incroyable extension ces vingt dernières années. Mais ceux qui y recourent brandissent un puissant argument supplémentaire en leur faveur: ils sont plus justes. Ils ne sont pas soumis aux préjugés et à toutes les déformations que l’esprit humain impose inévitablement à la réalité. Ils l’évaluent objectivement.

Lire aussi:  L’intelligence artificielle, elixir amer

Foutaise, réplique Cathy O’Neil dans son livre Algorithmes. La bombe à retardement. Le titre original était une trouvaille dont le français n’a pas su rendre l’équivalent: Weapons of Math Destruction. Mais ce qui est essentiel, c’est de savoir que l’auteure est une authentique mathématicienne qui, après son doctorat, s’est fait embaucher dans le monde de la finance, puis de l’assurance et du commerce, pour y faire valoir ses compétences scientifiques. Autrement dit, elle sait de quoi elle parle: le monde opaque des algorithmes, elle le connaît de l’intérieur. Elle fait partie de l’élite qui sait comment ça marche.

Sélection et préjugés
L’objectivité des algorithmes? Foutaise, donc. On sait qu’un algorithme est une suite d’instructions permettant d’obtenir un certain résultat: en ce sens, une recette de cuisine est un algorithme, comme l’est un mode d’emploi ou une partition musicale. En informatique, les algorithmes doivent être codés pour pouvoir être lus par l’ordinateur. Il faut les alimenter en données – qu’il faut choisir, donc – et décider du poids relatif de chacune d’elles dans le résultat final. C’est ce qu’on appelle, en mathématiques, un modèle: «Un modèle n’est après tout rien de plus que la représentation abstraite d’un processus quelconque […]. Nous avons tous dans la tête des milliers de modèles. Ils nous disent à quoi s’attendre et orientent nos décisions.»

Lire aussi:  Et si l’intelligence artificielle était déjà hors de contrôle?

Le ton est badin, mais tout est dit. Car le but, il faut le fixer; les données, il faut les sélectionner; la pondération, il faut la déterminer. Or, ce sont les concepteurs des modèles qui décident de tout cela! Ce sont donc leurs hypothèses, leurs interprétations, leurs préjugés qui s’y reflètent. D’où la thèse centrale du livre, dont tout découle et qui au fil des pages révèle sa puissance dévastatrice: un algorithme, c’est «une opinion formalisée en un code informatique».

Sous leur apparente objectivité, les algorithmes «sont le reflet d’une idéologie et d’objectifs bien précis». Ce sont des ADM: des armes de destruction mathématique, dont Cathy O’Neil montre à travers les exemples les plus concrets et quotidiens possibles comment, loin de corriger les injustices, elles les produisent. Ce n’est pas inévitable, mais c’est ce qu’ils font. La crise des subprimes en a été la conséquence la plus criante.

Injustices à la chaîne
La perversité des modèles gît dans la fameuse «boucle de rétroaction», où l’algorithme finit par produire la réalité qu’il a faussement modélisée. Un exemple saisissant parmi mille: un des critères pour déterminer la probabilité de récidive d’un condamné est de savoir à quel âge il a eu son premier contact avec la police. Or, on sait parfaitement qu’un jeune Noir aux Etats-Unis a beaucoup plus de risques de se faire interpeller même sans raison qu’un jeune Blanc; si l’âge du premier contact est un critère de décision pour le juge, alors il est clair que les Noirs seront jugés beaucoup plus susceptibles de récidiver que les Blancs. Cette «boucle destructrice» se répète indéfiniment, dans tous les domaines de la vie sociale.

Ce livre est un document essentiel sur notre temps. Si vous ne croyez pas être affecté par ce problème de récidive, lisez les chapitres sur les assurances automobiles, sur l’évaluation des écoles, sur la publicité prédatrice, sur les pratiques à l’embauche, sur l’utilisation des données par Facebook ou Google. Vous en ressortirez étourdis, fascinés, dégoûtés, peut-être incrédules devant tant de cynisme. C’est pourtant le monde qui vient, le monde auquel nous participons tous.