CONTRE-ATLAS DE L'INTELLIGENCE ARTIFICIELLE de Kate Crawford, par Jean-Marie Pierlot, universitaire, spécialiste de la communication associative

Professeure à l'université de New-York et à l’USC Annenberg (école de communication et de journalisme de l'université de Caroline du sud), professeure honoraire à l’Université de Sydney, Kate CRAWFORD est une spécialiste reconnue des implications sociales et politiques des systèmes techniques - et notamment des effets du Big Data - des algorithmes et de l’intelligence artificielle qualifiée de « nouvelle ingénierie du pouvoir » (AI reengineering power). Ses recherches ont plus largement porté sur la compréhension des systèmes de données à grande échelle, de l’apprentissage automatique et de l’IA dans les contextes plus larges de l’histoire, de la politique, du travail et de l’environnement. On peut noter que ses travaux ont inspiré la décision de l'UE en décembre 2023 faisant du continent européen le tout premier à établir des règles pour l'utilisation de l'IA.

Jean-Marie PIERLOT a lu son dernier livre qui met en lumière les coûts cachés de l'Intelligence artificielle, à commencer au plan environnemental, sa nature extrêmement énergivore (une consommation d'énergie, trente fois plus élevées que celle des moteurs de recherche par exemple), sa voracité en eau, et son empreinte carbone qui fuit la publicité. Kate CRAWFORD y interroge la question des usages et de la maîtrise de l'IA, et nous éveille à ses enjeux sociaux, éthiques et politiques plutôt méconnus du grand public. 

Chercheuse à Microsoft Research, co-fondatrice de l’AI Now Institute (https://ainowinstitute.org/), impliquée dans des projets collaboratifs - directrice notamment du projet Knowing Machines (https://knowingmachines.org/), une collaboration de recherche transatlantique entre scientifiques, artistes et juristes qui étudie la manière dont les systèmes d'IA sont formés - l'australienne Kate Crawford connait particulièrement bien le sujet d'une IA qui s'est constituée en une infrastructure industrielle particulièrement concentrée, et s'interroge sur ce que la concomitance de sa progression dans nos vies avec la montée des populismes et des autoritarismes dans le monde, dit de l'évolution de nos sociétés.

Instructif et intéressant. Très intéressant. Merci à Jean-Marie PIERLOT !

Au début de chacun des six chapitres de son enquête, Kate Crawford situe le lieu à partir duquel elle entame son travail. Nous voyageons ainsi de San José en Californie, fief de la Silicon Valley, à Robbinsville, New Jersey, qui abrite un vaste centre de distribution d’Amazon. Puis au NIST (National Institute of Standards and Technology) dans le Maryland ; on se rend ensuite au Penn Museum de Philadelphie, où figure une grande partie des archives de Samuel Morton, inventeur de la phrénologie. Puis en Papouasie Nouvelle-Guinée à la rencontre de Paul Ekman, qui échoua à rassembler des preuves que les humains manifesteraient, jusque dans les endroits les plus reculés de la planète, un petit nombre d’émotions universelles. Et enfin à New York, à la découverte des archives Snowden.

Ces lieux concrétisent les points d’ancrage les plus décisifs de la construction des dispositifs d’IA : la Terre, la main-d’œuvre, les données, la classification, les affects et l’État. Tour à tour, ils révèlent ce qui généralement reste caché lorsque l’IA est parée de ses plus beaux atours et se présente comme un extraordinaire affinement des connaissances, prétendant rivaliser avec l’intelligence humaine, voire la supplanter.

L’IA : ni artificielle, ni intelligente

Dès l’entrée en matière de sa recherche, K. Crawsford affirme que l’IA n’est ni artificielle ni intelligente : au contraire, « l’intelligence artificielle est à la fois incarnée et matérielle, faite de ressources naturelles, de carburant, de main-d’œuvre humaine, d’infrastructures, de logistique, d’histoires et de classifications. » (p. 19). Et plus loin : « Une fois l’IA replacée au sein de ces structures et systèmes sociaux, on peut se défaire de l’idée que l’intelligence artificielle est un domaine purement technique. Fondamentalement, l’IA est faite de pratiques techniques et sociales, d’institutions et d’infrastructures, de politique et de culture. » Le but du livre est donc d’élargir le contexte permettant de comprendre comment se construit l’IA, d’en dresser un atlas - ou plutôt un contre-atlas, la volonté de certains de ses fondateurs étant de considérer qu’à long terme, « l’IA est la seule science », dixit Woody Bledsoe, pionnier de la reconnaissance faciale : elle deviendrait ainsi l’Atlas, c’est-à-dire la façon dominante de voir.

En mettant en lumière les aspects idéologiques, inévitablement subjectifs et politiques de cette cartographie du monde, il sera possible de prendre distance par rapport à la fascination exercée par l’IA et de déceler les pouvoirs auxquels renvoient ces dispositifs de connaissance. Il deviendra envisageable de proposer d’autres politiques plus respectueuses de l’environnement et de la justice climatique, de la protection des données, du droit du travail, de l’égalité entre les hommes et les femmes, quelle que soit leur couleur de peau.

Lithium, terres rares : les denrées de base

Le contre-atlas commence par une enquête sur l’exploitation du lithium, denrée de base pour l’alimentation des mémoires des machines[à titre d’exemple, chaque voiture électrique Tesla Model 5 a besoin de 62 kg de lithium pour son bloc batterie. On estime que Tesla utilise chaque année la moitié de la consommation de lithium de toute la planète, (p. 41-42)], en particulier le cloud dans lequel sont stockées des quantités gigantesques de données. L’enquête se poursuit sur les sites de production de terres rares, ingrédients-clés des systèmes de communication, du smartphone aux grands datacenters. La Chine fournit au monde 95% de ces minéraux. Par ailleurs, les datacenters comptent parmi les principaux consommateurs d’électricité au monde, au point qu’il faille envisager de construire des centrales nucléaires qui leur seraient spécifiquement dédiées. Globalement pourtant, les industries formant la chaîne systémique de l’IA dissimulent soigneusement le coût de leurs opérations, en particulier l’impact de leurs activités sur le changement climatique.

Des humains derrière les bases de données

Le contre-atlas se penche aussi sur la main-d’œuvre humaine nécessaire à l’alimentation des systèmes d’IA. Des travailleurs appelés crowdworkers, proposent leurs services pour des rémunérations de quelques centimes par micro-tâche. Dispersés à travers le monde, ils réalisent des tâches d’identification et de vérification de contenus que les machines ne peuvent accomplir. Amazon a ainsi créé un dispositif nommé Mechanical Turk, « un gigantesque atelier disséminé, où les humains émulent et améliorent les systèmes d’IA en vérifiant et en corrigeant les processus algorithmiques. »

A l’autre bout de la chaîne, les consommateurs des services informatiques effectuent sans en être conscients des tâches de maintenance et de vérification des erreurs, en avertissant les hébergeurs des problèmes qu’ils rencontrent.

Il y a enfin les travailleurs dont la productivité est dictée par la machine et qui doivent suivre le rythme des tâches programmées par les systèmes d’algorithmes, qu’il s’agisse d’opérer la mise en œuvre et le suivi de commandes chez Amazon, d’effectuer des livraisons de repas à domicile ou d’être engagé, le plus souvent via des contrats à durée déterminée, dans l’industrie du fast-food. La gestion du temps devient « une autre manière de gérer les corps », note l’auteure p. 91.

Données, classifications des mots et des images, affects

Les trois chapitres suivants interrogent d’abord la manière dont sont construits les logiciels de reconnaissance faciale à partir de données provenant à l’origine de photos d’identité judiciaire, auxquels les propriétaires n’étaient pas en droit de s’opposer. Par la suite, se répandit la conviction dans le secteur tech que les personnes ainsi utilisées étaient moins des individus que des données : « Peu importe où la photo a été prise, qu’elle reflète un moment de vulnérabilité ou de souffrance, qu’elle humilie le sujet. Il est devenu tellement normal dans l’industrie de prendre et d’utiliser tout ce qui est disponible que peu de gens remettent en question les politiques sous-jacentes. » (p. 111).

Quant à la récolte de mots, elle puisa dans les échanges de mails et dans des archives textuelles de diverses natures, considérées comme des données neutres et interchangeables. Mais « il n’existe pas de terrain neutre pour le langage, et toutes les collections de textes reflètent aussi un temps, un lieu, une culture et une politique. » (p. 123).

La classification des images et des mots est une pratique centrale en IA. L’arbitraire et la naturalisation des données, pourtant dépendantes du contexte dans lequel elles sont utilisées, se révèlent manifestement dans les catégories où ces mots et ces images apparaissent. Ainsi, Amazon dut renoncer à l’utilisation de l’IA pour le recrutement de ses cadres lorsque les recruteurs s’aperçurent que les sélections automatisées excluaient les femmes parmi les candidats retenus : la majorité des embauchés des dix dernières années étant des hommes, le modèle avait été construit sur cette base et l’IA avait « appris » à recommander l’embauche d’autres mâles ! On imagine les biais, stéréotypes, erreurs, absurdités résultant du travail de classification par les crowdworkers, qui a tendance à changer en catégories fixes des notions entièrement relationnelles. L’utilisation de ces bases de données dans le monde judiciaire pour prévenir les crimes a donné lieu à tant d’erreurs d’interprétation qu’elles ont fait l’objet de plaintes et ont suscité plusieurs scandales retentissants. Leur emploi en a dès lors été limité.

Les mêmes limitations apparaissent lorsque les chercheurs en IA tentent d’identifier sur les visages les affects et les sentiments.

Les recherches du psychologue américain Paul Ekman visaient à démontrer le caractère universel de l’expression d’émotions partout dans le monde. Pourtant, aucune preuve scientifique fiable n’a pu étayer cette hypothèse. C’est malgré tout sur cette base fausse que s’est construite la reconnaissance des visages en IA. Kate Crawford démonte l’absurdité de ce processus en s’appuyant sur les critiques émises à l’égard des hypothèses d’Ekman de la part de l’anthropologue Margaret Mead, de l’historienne des sciences Ruth Leys et de bien d’autres scientifiques. Ceux-ci mettent en garde l’industrie de l’IA sur les controverses pouvant résulter de ces hypothèses non vérifiées. À nouveau, l’usage intensif de ces dispositifs de reconnaissance des émotions par l’IA démontre le problème : « le désir de simplifier à l’excès ce qui est obstinément complexe, afin de le rendre computable et de le conditionner pour le marché. » (p. 209).

L’IA financée par les agences de renseignement et par l’armée

Le sixième et dernier chapitre de l’enquête de Kate Crawford met en évidence l’intervention de l’Etat américain dans la mise au point des techniques de l’IA, ce que révèlent notamment les archives Snowden. Les agences de renseignement (NSA, DARPA) et les autorités militaires ont en effet grandement subventionné les recherches en IA afin d’évaluer tous les individus pouvant constituer une menace pour la sécurité du territoire. En 2004 fut créé le système Palantir, dont l’application est principalement militaire.

Mais contrairement aux outils développés par la NSA et l’armée, l’approche de Palantir est dirigée contre des civils et « est transformée en armement contre les Américains ordinaires chez eux. » Elle constitue donc un danger supplémentaire pour la sauvegarde des droits humains et pour la démocratie.

Tom Cruse  dans "Minority Report" de Steven Spielberg, d'après la nouvelle "Rapport minoritaire", de Philip K. Dick (1956), film uchronique qui décrit un avenir (en 2054), où les désirs sont soumis à la suprématie consumériste, l'inconscient colonisé et où le ministère de la Justice, dans le cadre d’un programme expérimental, peut arrêter les criminels avant leur passage à l’acte : des "Précogs"  aux pouvoirs médiumniques, une jeune fille Agatha et des jumeaux, dont le cerveau est relié à des machines par des câbles, des enfants mutants nés de parents drogués, isolés dans un bassin sous le contrôle de la brigade du « précrime », qui guette leurs prédictions et le moment où de la machine de prédiction sortira les cartes avec les noms des "assassins"...

Le déterminisme enchanté de l’IA

La conclusion du livre met l’accent sur l’expression du pouvoir que représentent les systèmes d’IA : ils sont créés « pour intervenir dans le monde d’une manière qui avantage surtout les États, les institutions et les entreprises qu’ils servent. » (p. 245). Tant que leurs soubassements sociaux, politiques et culturels restent cachés, ces dispositifs d’IA entretiennent l’illusion et le mythe de leur toute-puissance cognitive par rapport à l’intelligence humaine. Leur terrain de propagande privilégié est celui des jeux, où se manifeste ce que l’auteure appelle, avec l’historien des technologies Alex Campolo, le déterminisme enchanté : la pratique de ces jeux apparait comme magique, mais capable pourtant de résoudre avec certitude des problèmes qui lui sont posés. Ainsi se développe le fantasme du cerveau désincarné, capable de produire du savoir indépendamment de ses créateurs, mais en ignorant les infrastructures qui le génèrent. Et surtout en nous détournant des questions telles que les pouvoirs que servent les dispositifs d’IA, les profits qu’ils génèrent et les conséquences pour l’équilibre planétaire.

L’IA pour faire quoi ?

Aujourd’hui, informés de la base matérielle et humaine de l’IA, nous sommes équipés pour changer notre interrogation par rapport à elle : au lieu de nous demander où sera appliquée l’IA, il est temps de nous demander pourquoi – et même pour quoi – elle doit être appliquée. Si notre engagement en faveur d’un monde plus juste et plus durable devient le centre de nos priorités, nous pourrons contester l’utilisation de ces outils pour contrôler les populations et refuser de considérer l’armée, la police comme des opérateurs neutres qui agissent selon une logique prédéterminée par les algorithmes qui les dirigent.

Kate Crawford met son plus grand espoir dans les mouvements qui s’attaquent à l’interrelation entre le capitalisme et les outils de contrôle, « en réunissant les questions de justice climatique, de droits des travailleurs, de justice raciale, de protection des données et des abus de pouvoir de la police et de l’armée. » (p. 263). Son livre ouvre des pistes pour prendre conscience de ces interrelations et pour construire un monde plus juste et plus démocratique.

 Jean-Marie Pierlot, 05/01/2025

Entretien avec Kate Crawford  auteure de Atlas de l'IA 2021 : pouvoir, politique et coûts planétaires de l'intelligence artificielle (Presses universitaires de Yale, New Haven, 2021), paru en français en 2022 (éditions Zulma) sous le titre de Contre-Atlas de l'Intelligence artificielle.