Nous avons lu le journal qui a forcé Timnit Gebru à quitter Google. Voici ce qu’il dit

De nombreux détails de la séquence exacte des événements qui ont conduit au départ de Gebru ne sont pas encore clairs ; elle et Google ont tous deux refusé de commenter au-delà de leurs posts sur les médias sociaux. Mais le MIT Technology Review a obtenu une copie du document de recherche de l’un des co-auteurs, Emily M. Bender, professeur de linguistique informatique à l’Université de Washington. Bien que Mme Bender nous ait demandé de ne pas publier le document lui-même parce que les auteurs ne voulaient pas qu’un tel projet circule en ligne, il donne un aperçu des questions que Mme Gebru et ses collègues soulevaient au sujet de l’IA et qui pourraient inquiéter Google.

Intitulé « Sur les dangers des perroquets stochastiques » : Le document expose les risques des grands modèles linguistiques, c’est-à-dire des modèles formés sur des quantités de données textuelles stupéfiantes. Ces modèles se sont développés de plus en plus populaire-et de plus en plus grande-au cours des trois dernières années. Ils sont maintenant extraordinairement doués, dans les bonnes conditions, pour produire ce qui semble être un nouveau texte convaincant et significatif – et parfois pour estimer le sens à partir du langage. Mais, dit l’introduction du document, « nous nous demandons si l’on a suffisamment réfléchi aux risques potentiels associés à leur élaboration et aux stratégies pour les atténuer ».

Le journal

Ce document, qui s’appuie sur les travaux d’autres chercheurs, présente l’histoire du traitement du langage naturel, un aperçu des quatre principaux risques des grands modèles linguistiques et des suggestions pour la poursuite des recherches. Comme le conflit avec Google semble porter sur les risques, nous nous sommes attachés à les résumer ici.

Coûts environnementaux et financiers

La formation de grands modèles d’IA consomme beaucoup de puissance de traitement informatique, et donc beaucoup d’électricité. Gebru et ses co-auteurs font référence à un article de 2019 d’Emma Strubell et de ses collaborateurs sur les émissions de carbone et les coûts financiers de grands modèles linguistiques. Elle a constaté que leur consommation d’énergie et leur empreinte carbone explosent depuis 2017, les modèles étant alimentés par des données de plus en plus nombreuses.

L’étude de Strubell a révélé qu’un modèle de langage avec un type particulier de méthode de « recherche d’architecture neurale » (NAS) aurait produit l’équivalent de 284 tonnes de dioxyde de carbone, soit l’équivalent de la production de cinq voitures américaines moyennes sur toute leur durée de vie. Une version du modèle linguistique de Google, BERT, qui sous-tend le moteur de recherche de l’entrepriseLe vol aller-retour entre New York et San Francisco a produit, selon les estimations de Strubell, 1 438 livres d’équivalent CO2, soit presque la même quantité qu’un vol aller-retour entre New York et San Francisco.

Le projet de document de M. Gebru souligne que les ressources nécessaires à la construction et au maintien de modèles d’IA de cette envergure ont tendance à profiter aux organisations riches, alors que le changement climatique frappe plus durement les communautés marginalisées. « Il est plus que temps pour les chercheurs de donner la priorité à l’efficacité énergétique et aux coûts pour réduire l’impact environnemental négatif et l’accès inéquitable aux ressources », écrivent-ils.

Des données massives, des modèles impénétrables

Les grands modèles linguistiques sont également formés sur des quantités de texte en augmentation exponentielle. Cela signifie que les chercheurs ont cherché à collecter toutes les données qu’ils peuvent sur Internet. Il y a donc un risque que des propos racistes, sexistes ou autrement injurieux se retrouvent dans les données de formation.

Un modèle d’IA qui enseigne à considérer le langage raciste comme normal est évidemment mauvais. Les chercheurs soulignent cependant quelques problèmes plus subtils. Le premier est que les changements de langage jouent un rôle important dans le changement social ; les mouvements MeToo et Black Lives Matter, par exemple, ont essayé d’établir un nouveau vocabulaire antisexiste et antiraciste. Un modèle d’IA formé sur de vastes étendues de l’internet ne sera pas adapté aux nuances de ce vocabulaire et ne produira ni n’interprétera un langage conforme à ces nouvelles normes culturelles.

Il ne parviendra pas non plus à saisir la langue et les normes des pays et des peuples qui ont moins accès à l’internet et donc une empreinte linguistique plus réduite en ligne. Le résultat est que la langue générée par l’IA sera homogénéisée, reflétant les pratiques des pays et des communautés les plus riches.

De plus, les données relatives à la formation étant très volumineuses, il est difficile de les vérifier pour déceler ces biais. « Une méthodologie qui repose sur des ensembles de données trop importants pour être documentés est donc intrinsèquement risquée », concluent les chercheurs. « Alors que la documentation permet une éventuelle responsabilisation, […] les données de formation non documentées perpétuent le mal sans recours ».

Coûts d’opportunité de la recherche

Les chercheurs résument le troisième défi comme étant le risque d’un « effort de recherche mal orienté ». Bien que la plupart des chercheurs en IA reconnaissent que les grands modèles linguistiques n’ont pas vraiment comprendre langue et sont simplement excellents à en manipulant La Big Tech peut gagner de l’argent grâce à des modèles qui manipulent le langage avec plus de précision, donc elle continue à investir dans ces modèles. « Cet effort de recherche a un coût d’opportunité », écrivent Gebru et ses collègues. Il ne faut pas consacrer autant d’efforts à travailler sur des modèles d’IA qui pourraient permettre de comprendre ou d’obtenir de bons résultats avec des ensembles de données plus petits et plus soigneusement conservés (et donc qui consomment aussi moins d’énergie).

Illusions de sens

Le dernier problème des grands modèles linguistiques, selon les chercheurs, est que, comme ils sont si bons pour imiter le vrai langage humain, il est facile de les utiliser pour tromper les gens. Il y a eu quelques cas très médiatisés, tels que le étudiant universitaire qui a publié sur un blog des conseils d’auto-assistance et de productivité générés par l’IA, qui ont fait tache d’huile.

Les dangers sont évidents : les modèles d’IA pourraient être utilisés pour générer des informations erronées sur une élection ou la pandémie de covid-19, par exemple. Ils peuvent également se tromper par inadvertance lorsqu’ils sont utilisés pour la traduction automatique. Les chercheurs donnent un exemple : En 2017, Facebook mal traduit un poste de Palestinien, qui disait « bonjour » en arabe, comme « attaquez-les » en hébreu, ce qui a conduit à son arrestation.

Pourquoi c’est important

L’article de Gebru et Bender a six co-auteurs, dont quatre sont des chercheurs de Google. Bender a demandé d’éviter de divulguer leurs noms par crainte des répercussions. (Bender, en revanche, est un professeur titulaire : « Je pense que cela souligne la valeur de la liberté académique », dit-elle).

L’objectif du document, selon Bender, était de faire le point sur le paysage de la recherche actuelle dans le domaine du traitement du langage naturel. « Nous travaillons à une échelle où les personnes qui construisent les choses ne peuvent pas vraiment se servir de leurs bras pour manipuler les données », dit-elle. « Et parce que les avantages sont si évidents, il est particulièrement important de prendre du recul et de se demander quels sont les inconvénients possibles. … Comment en tirer les avantages tout en atténuant les risques ? »

Dans son courriel interne, Dean, le responsable de l’IA de Google, a déclaré que l’une des raisons pour lesquelles le journal « ne rencontrait pas notre barre » était qu’il « ignorait trop de recherches pertinentes ». Plus précisément, il a dit qu’il ne mentionnait pas les travaux plus récents sur la façon de rendre les grands modèles linguistiques plus efficaces sur le plan énergétique et d’atténuer les problèmes de partialité.

Cependant, les six collaborateurs ont bénéficié d’une large gamme de bourses d’études. La liste des citations du document, avec 128 références, est particulièrement longue. « C’est le genre de travail qu’aucun individu ou même deux auteurs ne peuvent réaliser », a déclaré Bender. « Il fallait vraiment cette collaboration ».

La version de l’article que nous avons vue fait également un clin d’œil à plusieurs efforts de recherche sur la réduction de la taille et des coûts de calcul des grands modèles linguistiques, et sur la mesure du biais intégré des modèles. Elle affirme cependant que ces efforts n’ont pas été suffisants. « Je suis très ouvert à l’idée de voir quelles autres références nous devrions inclure », a déclaré Bender.

Nicolas Le Roux, un chercheur de Google AI au bureau de Montréal, plus tard noté sur Twitter que le raisonnement dans le courriel de Dean était inhabituel. « Mes soumissions ont toujours été vérifiées pour la divulgation de documents sensibles, jamais pour la qualité de l’analyse documentaire », a-t-il déclaré.