"Intelligence artificielle et contrôle"
CAFE PHILO MAISON DU MALPAS 9 OCTOBRE
Intelligence artificielle et contrôle. Notes Daniel Mercier
- Introduction : un sujet qui clive : peur de la surveillance d’un côté, recours au simple fantasme de l’autre.
Lorsque l’on interroge les personnes sur « la société de surveillance » et la captation de ses données personnelles, il est remarquable de constater le grand écart qui existe entre les perceptions des uns et des autres : pour les uns, la méfiance est systématique, et ils refusent de se balader en sachant que ces déplacements sont tracés par satellite (notamment avec le téléphone portable), ne veulent laisser aucune trace (d’où parfois le refus d’utiliser les réseaux sociaux), efface les cookies sur leur navigateur web toutes les deux heures, ne font jamais de sauvegarde sur le cloud (c’est par exemple le cas du célèbre auteur de science-fiction Alain Damasio)… Pour les autres, il ne s’agit que d’un fantasme de surveillance : ils sont persuadés qu’ils n’intéressent personne, et certainement pas les GAFAM (Google, Apple, Facebook, Amazon et Microsoft), que le concept de données personnelles n’a pas vraiment de sens dans un contexte où c’est seulement la quantité massive des données qui permet, par les multiples corrélations possibles entre tous ces éléments infra-personnels, de leur donner une valeur ou une utilité, notamment dans le domaine du ciblage marketing . Ces données sont détachées des noms propres et ne sont donc associées à aucun sujet…
Mais dans les deux cas, nous sommes pris de vertige devant ces immenses architectures numériques qui connectent des milliards d’individus, dans toutes les langues, sur tous les sujets, gouvernés par des algorithmes surpuissants et secrets. Il est important de se faire une meilleure idée de la nature de la surveillance et du contrôle qu’exerce l’IA aujourd’hui dans nos sociétés.
2. La surveillance du pouvoir type « Big Brother » (1984) n’est pas la réalité de ce que nous vivons (dans les pays occidentaux)
Antoinette Rouvroy (juriste et philosophe) Le modèle souvent évoqué selon lequel nous serions des sujets espionnés par un pouvoir centralisé ne correspond pas à la réalité (du moins dans les sociétés démocratiques). Non seulement Big Brother sur le modèle de « 1984 » (roman d’Orwell) n’existe pas, mais nous n’avons jamais été moins regardés et considérés qu’aujourd’hui…Il serait donc plus pertinent de parler de capitalisme numérique plutôt que de société de surveillance.
Il est cependant évident que de telles surveillances ciblées peuvent se produire, touchant une infime partie de la population (par exemple les zaddistes ont dû se protéger et « crypter » leur communication, ou encore peut-être concernant des groupes qui sont censés porter atteinte à la sécurité de l’Etat (groupes terroristes par exemple). En réalité, le spectre de contrôle diffus peut devenir très acéré lorsque nous franchissons certaines limites…La police peut accéder aux données des plateformes ou des fournisseurs d’accès dès qu’elle l’estime nécessaire.
Mais ce qui est susceptible d’arriver (compte-tenu de cette révolution numérique) peut à tout moment devenir effectif…
Alain Damasio On peut comprendre à partir de ce qui précède l’analyse de Damasio : sachant que tout ce que vous faites et dites est susceptible d’être tracé et stocké, l’utilisation potentielle de ces données à des fins de surveillance et surtout d’évaluation peut à tout moment devenir effective ; elle peut conduire à des comportements d’autocensure et influencer massivement un grand nombre de ces comportements à travers l’injonction de plus en plus lisible de maximiser son capital humain numérisé ; on pense aux pratiques de « crédit social » déjà en vigueur en Chine où il s’agit de donner une note de civisme à chaque citoyen afin de lui accorder un privilège ou au contraire le ralentir voir le bloquer dans l’accès à l’emploi, aux études, ou à une quelconque prérogative sociale.
3. Un « capital humain numérique » à partir du nombre de « Like » : un contrôle horizontal plutôt que vertical
Mais cette société du « crédit social » peut ne pas être l’apanage d’un pouvoir centralisé et autoritaire mais s’insinuer dans tous les ressorts de la société civile, comme le montre tragiquement et humoristiquement la série « Black Mirror » sur Netflix, dans laquelle les notes sont attribuées les uns aux et par les autresdans le moindre acte quotidien de la vie sociale, et sur lesquelles s’appuient les politiques commerciales de promotions des entreprises qui favorisent les mieux notés (par exemple pour pouvoir acheter au meilleur prix l’appartement convoité, il faut faire partie des mieux notés, c’est-à-dire des « influenceurs »… ). On peut imaginer aussi que si vous faites partie d’un groupe d’amis sur Facebook ou Instagram en majorité insolvables, vous auriez des difficultés pour faire un crédit à la banque, même si personnellement vous avez toujours remboursé ces emprunts… Plus près de la réalité présente, pensons égalementaux notes données par les utilisateurs sur Airbnb ou Uber… Bref, nous voyons bien comment un capital humain numérique peut se construire, à partir du nombre de « Like » sur les réseaux sociaux. La série de Netflix, les romans de Damasio, décrivent bien ce monde où le pouvoir perd un maximum de sa centralité et de sa verticalité, au profit d’un maillage horizontal activé par les citoyens-consommateurs eux-mêmes… Cette observation rejoint la réflexion assez visionnaire de Deleuze quand il écrit « Post-scriptum sur les sociétés de contrôle », où il prédit qu’une telle société prendra la place de la « société disciplinaire » décrite par Foucault. Cette « pression horizontale » peut revêtir des dimensions différentes : si vous faites un régime et que vous êtes enregistré sur le site de WeightWatchers, le système de géolocalisation (grâce au téléphone portable) peut détecter que vous entrez dans une pâtisserie et envoyer une alerte à la communauté dont tel ou tel membre peut s’il le souhaite vous adresser des messages d’encouragement pour résister à la tentation… Ce procédé a même été étudié par l’université de Stanford et appelé « persuasion interpersonnelle massive » ». Dans cet exemple, nous touchons de près le processus de servitude volontaire : les GAFA ne rêvent pas de gouverner le monde, mais simplement de faire le maximum de profit en nous fournissant les outils et applis que nous allons empoigner en générant cette spirale de servitude volontaire, un peu au sens d’une prise de produits produisant une addiction. Sans nous bien sûr, les plateformes n’auraient aucune efficacité !En effet, ce panoptisme horizontal sur les réseaux sociaux est d’autant plus puissant qu’il est lié non pas à une volonté de punir et de redresser les torts de l’individu mauvais citoyen et calculateur se sentant épié par l’œil fixe du pouvoir, mais à la quête de visibilité/célébrité. Il y a un renforcement de l’accent mis sur le contrôle plutôt que sur la discipline. L’analyse prédictive – prévoyance et anticipation – prime sur l’impératif de surveiller et punir (Lyon, 2014). Ainsi, « nous sommes nombreux à prendre part à ce nouveau genre de contrôle sur une base volontaire, souvent sans être conscients de son ampleur » (Christensen, 2010, p. 53).
Comme Deleuze l’avait prévu, Il y a un renforcement de l’accent mis sur le contrôle plutôt que sur la discipline. Plutôt anticiper et prévoir, réfléchir et influencer les comportements, mais aussi répondre à la quête de visibilité et de « célébrité », rendre aussi le plus possible « transparente » la société, qu’exercer un pouvoir autoritaire qui épie la vie des gens et punit les « mauvais comportements » à la manière de « 1984 » (Big Brother)… Certains qualifient cette tendance de « panoptisme horizontal » ou surveillance de tous par tous ; elle accentue le conformisme social et l’imposition de normes de comportement validées par ses pairs. Le développement du harcèlement sur la toile est un effet collatéral d’une telle tendance à l’hypervisibilité.
Mais cela ne doit pas nous faire oublier cependant la panoplie de nouveaux dispositifs de surveillance avec les différentes lois antiterroristes depuis le 11 septembre 2001, qui ont considérablement augmenté la surveillance des individus suspects. En France depuis 2006 (Sarkozy) : obligation pour les opérateurs (Télécom, réseaux sociaux…) de garder les métadonnées de connexion pendant un an, obligation pour les compagnies de transport de communiquer les informations sur les passagers internationaux, les prises automatisées de clichés des occupants de véhicules sur tout le territoire doivent être conservées pendant huit jours et peuvent être recoupées avec le fichier des voitures volées, installation de caméras de vidéosurveillance dans les bâtiments publics… Cette loi votée en 2006 a reçu un accueil très polémique… Elle est considérée comme « naturelle » aujourd’hui.
4. Une servitude volontaire qui s’accompagne paradoxalement de la satisfaction d’un contrôle personnel toujours plus important…
Mais ce risque de servitude volontaire s’accompagne paradoxalement d’un pouvoir personnel nouveau et d’une impression de maîtrise totale : lorsque je commande un livre en quelques clics sur Amazon, l’ordinateur me donne l’impression que mes désirs sont des ordres. Il y a là une satisfaction du contrôle de nature anthropologique que le monde numérique exploite très efficacement. L’histoire d’homo sapiens lui-même est l’histoire d’un contrôle grandissant sur la nature, les animaux, le climat, l’espace, les autres, et nos technologies quotidiennes aujourd’hui, comme le smartphone à la main, représentent un domaine d’extension toujours plus grand d’un tel contrôle : je peux travailler, séduire, m’informer, jouer, m’orienter, m’organiser…etc. Comme le dit Antoinette Vouvroy, « le suis à la tête d’une empire très personnel ». Et j’en éprouve une impression de maîtrise qui peut venir calmer mes incertitudes et mes anxiétés, ma solitude aussi…
5. La tentation de « la gouvernalité algorithmique »( AntoinetteVouvroy)
Plus besoin d’institutions ni de concepts transcendants tels que ceux de la justice, du droit, de l’égalité, mais d’une gestion pilotée par des intelligences artificielles autoapprenantes ; il s’agit d’optimiser les rapports sociaux à partir de l’extraction des données. C’est l’espace public qui est ici menacé, la société étant conçue comme une juxtaposition d’intérêts individuels dont il faut calculer l’équation dernière. Plus besoin ainsi d’espace de délibération démocratique ; plus besoin de politique…. Peut-être sommes-nous en train de renoncer à gouverner le monde, d’être tentés d’abandonner cette tâche aux machines… Nous pouvons prendre comme projet celui de mettre une ville (Toronto en l’occurrence) sous gouvernance algorithmique : tout ce qui se passe dans cette zone est dorénavant « urban data ». Dans la rue, dans un café, dans son appartement, dans sa voiture…etc. Seul Google ou Amazon seront alors en mesure de traiter de façon efficace et prédictive toutes ces données… Il peut y avoir là une forme de renoncement à la décision collective et à la délibération démocratique. On peut voir le danger d’un pouvoir instrumental qui ne table plus sur la démocratie pour imposer son harmonie à la société. La tendance en occident est certes de servir plutôt des objectifs de marché plutôt que des objectifs politiques, mais rien n’empêche un tel capitalisme de surveillance d’étendre ses zones d’expérimentation. La grande question posée par ce risque de « gouvernalité algorithmique » est celle de la disparition des médiations humaines au profit des algorithmes. Cette « désintermédiation » peut en effet aboutir à faire fondre l’Etat au profit d’une prise en charge de chacun par les algorithmes. On peut imaginer les effets d’aliénation d’un tel projet… Ceci dit, on pourrait aussi objecter que ces traitements algorithmiques des données, comme toutes les nouvelles découvertes technologiques, posent toujours le même type de problème : l’usage que nous en faisons, les limites que nous sommes en capacité de poser au fur et à mesure de leur expansion. Toutes les questions aujourd’hui autour du transhumanisme sont de même nature… Ainsi dans notre exemple, le traitement des données en zone urbaine pourraient nous apporter des renseignements précieux, même s’il ne doit en aucun cas remplacer la délibération et la prise de décision démocratique.
6. La tentation du « vase clos » : devenir des « hikikomori », ces jeunes japonais qui se cloîtrent chez eux
Une autre conséquence : nous avons de moins en moins l’habitude de nous confronter au dehors, à l’altérité, puisque notre environnement numérique se calque sur nos désirs et nos croyances. Vocabulaire utilisé par Damasio : « technococon », conforteresse »… Ce point serait à développer en tant que tel tant la jeune génération semble impactée par ce phénomène…
7. Transformer les données de l’expérience humaine en prédictions comportementales : le capitalisme de surveillance
ShoshanaZubof (Professeur émérite à Harvard Business School, « L’âge du capitalisme de surveillance. Le combat pour un futur humain et la nouvelle frontière du pouvoir »)
Le capitalisme se définit par une dynamique tendant à transformer en marchandise ce qui était jusque- là hors marché. Avec le capitalisme de surveillance, il s’agit de capter l’expérience humaine dont on se sert comme d’une matière première pour la transformer en prévisions comportementales monnayables sur un nouveau marché. Nous sommes les usagers de Google et de Facebook, mais ces plateformes utilisent les informations sur nos comportements privés pour les transformer, grâce aux algorithmes d’intelligence artificielle, en prédictions comportementales. Nous avons créé des machines qui se nourrissent de données afin de prédire et d’influencer les comportements quotidiens des individus.
Un exemple entre mille : le jeu numérique de réalité augmentée des Pokemon Go. Certains lieux commerciaux –MacDo par exemple - ont sponsorisés le jeu et payer pour figurer parmi les sites du terrain de jeu, et ainsi drainer vers eux des joueurs… Ainsi, les jeunes pensaient jouer alors que leurs actions étaient manipulées par des intérêts économiques dissimulés.
La surveillance ainsi conçue est un double mécanisme : un mécanisme réfléchissant visant à nous renvoyer nos faits et gestes sous forme de recommandations (par exemple des conseils de lecture à partir des commandes que j’ai faites sur Amazon), mais aussi un mécanisme productif qui transforme les traces numériques de mes comportements en prédictions vendues à des tiers.
Lorsque nous allons sur une plateforme éducative pour les devoirs de nos enfants, sur une plateforme de santé pour les résultats de nos tests, sur face book pour échanger des photos avec nos amis ou la famille, nous « rendons » disponibles nos expériences pour qu’elles puissent être captées par les chaînes de montage du capitalisme de surveillance. Nous avons théoriquement le choix de refuser mais nous ne prenons pas souvent le temps de lire des notices dans un langage souvent ésotériques pour le profane, et nous nous exposons à des fonctionnements déficients (par exemple, non mise à jour du logiciel que vous utilisez). Le fonctionnement du service est en réalité conditionné à notre soumission volontaire…
L’Europe a mis en place la RGPD (Règlement général sur la protection des données). Cette disposition passe-t-elle à côté du problème ? Les données ne sont pas individuelles, c’est un produit dérivé (nos informations ne sont que la matière première d’un produit dérivé). Google : « Rassurez-vous, nous ne vendons pas d’informations personnelles ».
A cette critique de la surveillance, on peut objecter que nous pouvons acquérir à partir du traitement des data des informations précieuses, comme par exemple les risques d’avoir une maladie… Ne pourrions-nous pas tirer des bénéfices communs du traitement des data ?
La commercialisation à des fins privées de toutes ces informations personnelles est une évidence. Il s’agit d’intervenir dans nos comportements de façon à ce qu’ils soient plus conformes aux prédictions.
8. Le grand défi que pose l’IA avec la crise sanitaire.
Le Passe sanitaire incarne bien cette surveillance de masse que permet l’IA. Contrôler le respect des mesures sanitaires à un niveau individuel et en temps réel, « en croisant des données d’identification, des données médicales et données de géolocalisation ». Toute la question est de savoir jusqu’où cette surveillance peut et surtout doit s’exercer : on peut en effet imaginer un boîtier connecté porté autour du cou ou smartphone qui sonnerait lorsque vous ne respectez pas les règles de distanciation ; un bracelet électronique pour contrôler le respect de la quarantaine, une détection automatique par des radars de la plaque d’immatriculation des personnes censées être confinées…etc. Autant nous pouvons considérer que le combat actuel des « anti-passe » est un mauvais combat (tout simplement parce qu’une telle surveillance apparaît totalement proportionnée au risque encouru), autant nous voyons bien que les nouvelles possibilités de contrôle qu’introduit l’IA ne vont pas de soi et doivent être examinées avec vigilance à chaque fois que la question se pose.
9. En conclusion, une réflexion plus générale sur les fondements théoriques de l’IA
Elle repose sur une naturalisation ou une « physicalisation » de l’esprit : la pensée doit être considérée comme un simple calcul, susceptible d’être réduite à des procédures de calcul (algorithmes) pouvant être mécanisées. Cette réduction de la pensée au calcul est bien sûr problématique (au sens où elle pose un problème philosophique décisif) : cf. « Qu’appelle-t-on penser ? », café philo 2009. S’il est vrai qu’une différence radicale sépare la pensée du calcul, le vrai danger serait alors non pas que nos machines nous dépossèdent de la pensée – ce qui semble être parfois le pronostic du transhumanisme -, mais qu’elles nous incitent à cesser de penser par nous-mêmes, en nous reposant sur elles. Ce qui leur manque, ce n’est certes pas la puissance du calcul, mais l’affectivité indissolublement attachée aux racines de la pensée (le désir, la souffrance, l’espoir…etc.), et les processus de conscience qui lui sont également inséparables (peut-il y avoir une « conscience artificielle » ?). Le calcul mécanique est totalement étranger aux affects ainsi qu’à la conscience.