Algorithmes et surveillance de masse : le spectre d’une société sous contrôle

Un algorithme mathématique est une suite d’étapes conçue pour fournir un résultat à partir de données existantes. Il permet de traiter un nombre conséquent de données de façon automatique, mais aussi de modéliser des comportements pour prédire des événements. Certains algorithmes parviennent même à simuler le raisonnement humain : ils sont construits pour apprendre seuls et définir leurs propres formules pour résoudre un problème. On les désigne sous le nom d’apprentissage machine (machine learning), un sous-ensemble de l’intelligence artificielle (IA).

De la modélisation des pandémies à la prévention des accidents de la route, les algorithmes peuvent rendre de grands services à l’humanité. Mais leur conception peut également soulever des questions éthiques majeures, notamment concernant nos libertés individuelles. Si ce constat peut sembler évident dans le domaine de la surveillance de masse, c’est tout un pan de notre quotidien qui se trouve redessiné par ces outils numériques : scolarité, social, justice, gestion des entreprises…

Le capitalisme de surveillance

L’intrusion des algorithmes dans la vie privée s’est généralisée avec les collectes massives de données réalisées, en premier lieu, par des sociétés privées du numérique, en échange d’un accès, souvent gratuit, à leurs services. Chaque utilisateur·rice livre ses informations personnelles sans vraiment en connaître leur prix ni l’utilisation qui en sera faite. La sociologue Shoshana Zuboff appelle « capitalisme de surveillance » cette nouvelle forme de marchandisation des données individuelles traitées comme une matière première, au même titre que le travail, le capital et la terre. Les informations ainsi collectées sont travaillées pour obtenir la granularité la plus fine, qui leur octroie de la valeur sur les marchés de la publicité, de l’influence d’opinion ou de la surveillance. Les géants du numérique ont donc construit leur prospérité sur les données d’individus pourtant écartés de tout profit réalisé avec celles-ci.

« Les données sont la pierre angulaire de la quatrième révolution » industrielle, affirme Fabrice Mateo, qui considère qu’elle va « modifier notre façon de vivre, de consommer, de produire, de travailler, d’apprendre, de nous divertir, de manager, de gouverner et de faire la guerre ». Les algorithmes sont les outils de cette révolution pour la collecte, l’affinage et l’utilisation des données. L’amassement croissant des données les rend toujours plus performants et autonomes. Le temps de l’innovation étant plus rapide que celui de la législation, le marché des données et des algorithmes est désormais partagé entre quelques grandes entreprises presque aussi puissantes, financièrement et technologiquement, que des États. 

Une surveillance de masse illégale

Ces États s’inquiètent de la puissance économique des géants du numérique, souvent américains ou chinois, mais aussi des pouvoirs diplomatiques et démocratiques que leur confère le traitement de ces données. Ils sont bien placés pour connaître l’intérêt stratégique de ces données et la puissance des algorithmes. C’est pourquoi, en 2013, les révélations d’Edward Snowden sur l’espionnage à grande échelle organisé par la National Security Agency (NSA) aux États-Unis, ont suscité un débat mondial sur la vie privée et la sécurité nationale.

Cette affaire n’est pas une première en matière de collecte de renseignements d’un État, à partir de données d’entreprises privées, mais celles de Google, Facebook, Microsoft ou en encore Apple, permettent une surveillance de masse très fine. Autre exemple, en 2021, le consortium de média internationaux Forbidden Stories révèle l’ampleur de la surveillance exercée depuis 2013 par le logiciel espion Pegasus. Ce dispositif d’espionnage numérique de l’entreprise israélienne NSO Group implique de nombreux pays comme clients et cible une multitude de ressortissant·es à travers le monde. Ce logiciel piratait des smartphones de personnalités politiques, de journalistes, des militant·es et des chef·fe·s d’entreprise, en infiltrant les systèmes d’exploitation et les applications numériques installées sur ceux-ci. 

Une raison d’être sécuritaire

Les États collectent aussi légalement leurs données sur leurs propres citoyen·nes, pour leur identification et pour assurer leurs missions dîtes d’intérêt public. En France, les discours sécuritaires de tous les partis politiques sont, depuis une quarantaine d’années, justifiés par une formule érigée en règle : « La sécurité est la première des libertés. » Chaque moment de tensions ou de risques (attentats terroristes, épidémie de la Covid-19, hausse de la délinquance ou sécurisation d’un événement planétaire) voit naître de nouveaux outils potentiellement liberticides. Parmi ceux-ci, des algorithmes de plus en plus sophistiqués et intrusifs, mais encadrés légalement. « L’impératif sécuritaire se traduit par le renforcement des dispositifs juridiques visant, non seulement à la protection des personnes et des biens, mais encore à la surveillance des comportements individuels et collectifs, en marge de la conception traditionnelle de l’État de droit », explique le juriste Jacques Chevallier. 

Les systèmes de surveillance de masse se multiplient, comme les caméras intelligentes qui ouvrent la voie à la reconnaissance faciale, sur lesquelles les associations militant pour les libertés comme Amnesty international ou la Quadrature du cercle, ou encore la Commission nationale consultative pour les droits de l’Homme émettent de sérieuses réserves. Malgré tout, six mois avant les Jeux olympiques de Paris 2024, « deux Français sur trois (67 %) estiment désormais qu’il faut des mesures d’exception, quitte à limiter leur liberté, une opinion en hausse de 12 points en 5 ans », affirme le baromètre Odoxa.

Pourtant, les algorithmes de surveillance de masse ne sont pas exempts d’erreur ou de dérives. Par exemple, la reconnaissance faciale par algorithme utilisée aux USA a coûté une semaine de prison à un innocent, et l’outil est moins efficace sur les personnes de couleur ou les femmes. En Chine, la reconnaissance biométrique est bien installée et étudiée. Les Chinois·es souffrent ainsi de complication dans leurs déplacements et dans l’accès à leur logement. Leur comportement social dans l’espace public est examiné et même noté, comme le décrit le documentaire Ma femme a du crédit, de Sébastien Le Belzic (2021).

Les algorithmes aux commandes

En France, comme partout en Europe, les algorithmes s’imposent de plus en plus dans le quotidien de citoyen·nes. Ils interviennent par exemple pendant leurs études via les plateformes nationales, Parcoursup ou MonMaster. On les retrouve également pour les orienter dans leurs déplacements, pour les surveiller et/ou les verbaliser automatiquement, ou pour leur proposer des contenus personnalisés dans leurs loisirs ou leurs achats. Les banques examinent aussi leurs comptes grâce à des algorithmes puissants permettant de détecter les dépenses inhabituelles ou importantes, d’étudier la solvabilité des client·es, ou proposer des placements financiers. Les services de recrutement les utilisent aussi pour filtrer les candidatures automatiquement.

Les administrations sont encouragées par l’État français à recourir aux technologies de l’intelligence artificielle et le Conseil constitutionnel a même validé le fait que des décisions à l’égard d’un individu soient prises sans intervention humaine. Les administrations s’appuient donc sur des algorithmes et sur l’IA pour déclencher des contrôles fiscaux, prioriser les contrôles à partir des notes attribuées aux bénéficiaires des aides de la Caisse d’Allocations familiales (CAF), verbaliser les automobilistes, attribuer des places en crèches… Des algorithmes viennent aussi apporter leur aide à la police par la gestion de registres, tels que le fichier des personnes recherchées (FPR) listant les individus susceptibles de représenter une menace pour la sécurité publique. Mais les outils de police prédictive ne sont pas à la hauteur des espérances et ont même déçu en induisant des biais qui faussent les résultats et peuvent stigmatiser des communautés. Quant à la justice, « du fait de l’implication d’êtres humains et de leurs histoires, mais aussi du fait de son influence sur la société, [la justice] est un domaine d’application éminemment délicat », préviennent les auteur.rices du rapport « Mécanisme d’une justice algorithmisée » de juin 2021 pour la Fondation Jean-Jaurès. Mais des algorithmes sont déjà proposés aux professionnel·les du secteur, notamment pour évaluer les chances de succès d’une procédure.

Objectivité et transparence des algorithmes ?    

Le fait d’effectuer une tâche sans intervention humaine serait donc une garantie d’efficacité et d’objectivité. Mais le jeu est faussé dès le départ, prétend Cathy O’Neil, figure majeure de la lutte contre les dérives des algorithmes. Dans son livre Algorithmes, la bombe à retardement (2016), elle explique que les algorithmes sont définis et paramétrés par des humain·es, dans un but précis. Ils sont donc sujets à interprétation et embarquent des préjugés. Ils peuvent également être manipulés. Elle livre de nombreux exemples de dérives des algorithmes dans la vie quotidienne des Américain·es sur fond de préjugés, et met en lumière une industrie prédatrice qui cible les populations les plus pauvres, identifiées via des algorithmes. C’est aussi parce que les populations ne connaissent pas le fonctionnement des algorithmes et les intentions de celles et ceux qui les ont créés qu’elles en sont les victimes. Cathy O’Neil souligne également les qualités d’un algorithme éthiquement pensé qui permettrait d’instaurer une réelle équité comme le fut, un temps, un algorithme bancaire pour accorder des prêts. S’appuyant sur des données factuelles, il permettait de passer outre les préjugés ou le ressenti du banquier sur l’emprunteur·euse. 

Les créateur·rices d’algorithmes sont-ils en mesure de garantir l’égalité et la transparence, quand l’approche de ces outils est probabiliste et implicite ? De moins en moins… Cathy O’Neil parle d’illusion de contrôle. Stéphane Grumbach, quant à lui, explique que « les algorithmes sont parmi les réalisations humaines les objets les plus complexes. Il est quasiment impossible de les vérifier et de garantir leurs fonctionnalités. Comprendre le déroulement, la suite de calculs qui conduit à un résultat, et ce tout particulièrement pour l’intelligence artificielle, mais pas seulement, est désormais au-delà des potentialités du cerveau humain ».

L’IA inquiète donc, mais considérant que « l’intelligence artificielle est essentielle à la transformation numérique de l’UE et continuera d’avoir un impact toujours plus grand sur l’économie et la vie quotidienne », la solution actuelle envisagée par l’Union européenne est de l’encadrer au mieux. Après le Règlement général sur la protection des données (RGPD) de mai 2018, le Parlement européen, après bien des négociations, a adopté l’IA Act le 9 juin 2023 pour « veiller à ce que les systèmes d’IA utilisés dans l’UE soient sûrs, transparents, traçables, non discriminatoires et respectueux de l’environnement » et « supervisés par des personnes plutôt que par l’automatisation, afin d’éviter des résultats néfastes ».

Reste à savoir si une puissance politique est capable de suivre le rythme de cette course
technologique, afin de garantir la transparence, l’équité et le respect des valeurs démocratiques, face
à la montée en puissance des systèmes numériques de surveillance de masse.

---

Pour aller plus loin

---

---

---

---

---

---