Corriger les dérives morphologiques: l’obsession « réaliste » des générateurs d’images artificielles

Depuis le début des algorithmes de production d’images, et maintenant de vidéos, l’obsession de leurs fabricants, leur objectif principal, a été le « réalisme ». C’est toujours selon ce « réalisme » supposé qu’ils sont évalués, départagés et célébrés. On cherche à produire des images qui peuvent passer pour réelles, ou bien des images « irréelles » (unreal – la tête de Sam Altman qui chante depuis une cuvette de toilettes, une course de canards dans un stade, etc.) mais dont les composants (corps, visages, mouvements, élocution…) sont le plus « réalistes » possible (« conforme aux lois de la physique », selon les termes des ingénieurs).

On peut remettre en question ce « réalisme », en rappelant ce qu’il charrie de biais et de stéréotypes, ou mieux en le poussant jusqu’à la caricature comme le font Gwenola Wagon et Stéphane Degoutin, qui jouent avec beaucoup d’intelligence et d’humour sur le fait que les bases de données sont bourrées d’« images de stock », avec des clichés omniprésents (les gens en costume, les pommes, la terre, l’herbe, les sourires…). Dans leur projet Everything is real, ils en tirent des travailleurs de call-centers extatiques, des salarymen qui se roulent dans l’herbe dans une version « green » et « corporate » du paradis, etc.

Everything is real – Gwenola Wagon et Stéphane Degoutin

On peut aussi se demander pourquoi ce « réalisme » devrait être l’étalon du progrès des algorithmes. Je me souviens des chats-chiens, lapins-grenouilles et autres inventions saugrenues des premiers temps des GANs et des modèles de diffusion. En vidéo, cela donnait des séquences dont le fil ne suivait pas une narration mais une sorte de « navigation morphologique » de forme en forme, chaque image amenant à la suivante par ressemblance, par contiguïté morphologique, plutôt que par cohérence scénaristique.

Cela permet de rendre perceptible que les films générés par algorithmes ne se déploient pas selon une trajectoire temporelle mais dans l’espace latent des images possibles – un espace continu où les images de doigts sont « proches » de celles des saucisses, elles-mêmes proches de celles des trains, etc. On ne promène pas une caméra dans une zone du monde « réel », on extrait des images de cette bibliothèque d’images possibles.

Dans les vidéos qui cherchaient malgré tout à reproduire l’enregistrement d’une scène, on voyait une sorte de « tremblé » morphologique (ou flickering). D’une image à l’autre, les objets n’étaient pas très stables : le ballon n’était plus tout à fait rond et pouvait « tirer » vers un visage, les doigts s’allongeaient et se mettaient à ressembler à des saucisses, etc. On l’aperçoit encore dans certaines vidéos récentes, mais cela ne devrait pas durer, dans la mesure où, pour les ingénieurs, c’est de “l’instabilité”, c’est un défaut à gommer.

Quelques artistes y ont vu, plutôt qu’un défaut, ce qui faisait la spécificité et l’intérêt des modèles. Au lieu de chercher à tout prix à restituer une scène cohérente où chaque objet serait resté le même de bout en bout, ils ont voulu tirer parti de cette instabilité et faire dériver les images. Par exemple, dans le clip de Berzingue (réalisé pour Flavien Berger), le vidéaste Jamie Harvey laisse les frites en polystyrène devenir des serpents, puis des tentacules de poulpe, des trains, des bougies, un anniversaire dont le gâteau dérive vers une carte-mère, une fête foraine, la plage, un marché en Inde où les sari deviennent des capuches, des blouses de médecin, etc, etc.

Dans le monde des clips, l’idée d’une mutation continue de l’image allant d’une forme à une autre (morphing) avait déjà été mise en scène par John Landis en 1991 pour la chanson Black and White de Michael Jackson.

Plutôt que des machines à produire des séquences réalistes, aurait pu voir les modèles de génération de vidéo comme du morphing on steroids – ce qui aurait probablement donné lieu à des outils et des interfaces plus variés, et aurait permis au grand public d’avoir une meilleure idée de ce que montrent les images (des zones des espaces des images possibles ou “espaces latents” ) et à quoi correspond leur mouvement.

La transformation continue d’une image à une autre donne une impression de mouvement, mais ce “mouvement” est différent de la trajectoire des objets dans l’espace-temps que capturent les enregistrements vidéos classique. Il s’agit plutôt une dérive par analogie, un peu comme ce qui se passe dans la tête des bavards impénitents : dès qu’on leur parle d’une chose, ça leur en rappelle une autre, puis une autre… On peut penser également à l’association libre dans la cure psychanalytique, ou bien le déroulé de certains rêves qui bifurquent en fonction d’associations d’idées, de jeux de mots, de ressemblances entre lieux ou personnages, au mépris de la cohérence de la scène.

Le rêve peuvent aussi suivre un fil analogique plutôt que logique. Dans La science des rêves de Michel Gondry,  les scènes bifurquent à la faveur d’objets qui se transforment (les mains qui deviennent énorme), et qui sont toujours un peu autre chose : les pistes de ski sont des lacets colorés, les trains sont en rouleau de papier toilette, les pierres sont des boules de papier froissés,  etc.

Cette “dérive” par analogie est ce qui caractérise le délire à partir de la Renaissance, lorsque l’analogie change de statut. Dans Les Mots et les Choses,  Michel Foucault prend Don Quichotte en exemple: pour lui, “les troupeaux, les servantes, les auberges” ressemblent “aux châteaux, aux dames et aux armées”. “[Tout son] chemin est une quête aux similitudes”,  il “s’est aliéné dans l’analogie” et “croit à chaque instant déchiffrer des signes”. 

Dans son Journal de la création, Nancy Houston, décrit les phases de délire comme un moment où toutes les associations apparaissent comme hautement significatives, engageant ou forçant l’esprit à les suivre dans une frénésie épuisante (phases qui ont eu lieu, précise-t-elle, à des périodes où elle ne rêvait plus), « où tout renvoyait à tout (et surtout aux histoires qu’étaient en train de vivre mes personnages), où « chaque détail pouvait et devait être interprété. J’étais “électrisée”, en permanence, par les associations que produisait mon cerveau autant de “coïncidences” littéralement foudroyantes. » Elle se décrit comme un cheval, « monté » (on aimerait dire « possédé ») par une force inconnue qui l’agite jusqu’à l’épuisement, pendant ce qu’elle appelle (en parlant de Sylvia Plath), « le temps de la folie, le temps nervalien de “l’analogie universelle”, le temps merveilleux et abominable où tout signifie ».

Il ne s’agit pas de dire que les modèles de génération d’image imitent le mécanisme associatif du délire ou du rêve. Ce n’est pas le même mécanisme (si tant est qu’il y ait un mécanisme du délire ou du rêve), mais le même boulon, ou la même cheville : une navigation par contigüité dans l’espace des formes. Dans les deux cas, il y a une dérive morphologique, et dans les deux cas, cette dérive suit des inclinations singulières, qu’il s’agisse de l’histoire de l’individu (ses traumas, ses fantasmes, ses influences…) ou du collectif (reflétés dans les “biais” de la base de donnée d’entraînement). Plutôt que d’explorer les stéréotypes qui hantent les archives à partir desquelles elle est développée, l’industrie de l’intelligence artificielle choisit de les gommer,  avec une obstination qui n’est pas sans rappeler le refoulement “moderne” de la folie que décrivait Michel Foucault. On force le “progrès” des IAs vers la production de séquences “réalistes”, à rebours de leur fonctionnement intrinsèque. On n’entend parler que d'”intelligence”, de “raisonnement”, ou d'”agentivité”, mais très peu d'”imagination” (ou alors seulement de “créativité”, autrement dit une imagination sous contrôle, qui peut être mise au travail), et encore moins de rêve ou de délire (autrement dit d’imagination à la dérive). Une fois de plus, le projet d’intelligence artificielle reproduit et caricature l’histoire de la philosophie, ici dans ses relations compliquées avec la notion d’imagination, “folle du logis” dont les dérives remettent en cause le stéréotype d’une “raison” (dans le vocabulaire contemporain, l’une “intelligence”), en maîtrise d’elle-même. 

 

Vers des œuvres sans artiste ? La crise de l’attribution à l’ère des grands modèles d’IA

« Oui mais, quand je sais que ça a été écrit par une IA, je n’ai plus envie de lire ». « Oui mais, ça n’est que le recyclage de textes existants et de leurs stéréotypes ». « Oui mais, ça n’est pas le témoignage d’un point de vue singulier, d’une expérience incarnée ». Toutes ces objections contre l’éventualité d’une littérature « artificielle » (j’entends par là des textes sans auteur ou autrice pour les imaginer, les planifier, les rédiger, les corriger, les retravailler, etc., des choses un cran plus loin que les innombrables « premier livre écrit par une IA » qu’on a vus ces dernières années – plutôt dans la lignée de ce que font les parents qui vont y chercher des histoires pour leurs enfants), sont justes et je les partage (notamment l’idée, évoquée par Belinda Cannone, dans Comment écrivent les écrivains, que quelque chose de très corporel passe dans l’écriture, et se perçoit à la lecture).

Mais, à jouer au jeu de « une IA ne pourra jamais » (ici : « une IA ne pourra jamais fabriquer des textes qui provoquent une émotion esthétique »), on finit toujours par passer pour un jambon, étant donné l’ampleur des moyens et la frénésie d’efforts consacrés à invalider ce genre d’affirmations, quitte à tricher d’une manière ou d’une autre. Essayons plutôt d’en faire l’objet d’une expérience de pensée : et si les adultes, au lieu de lire un chapitre de livre avant de se coucher, ou quelques pages dans le métro, lisaient des nouvelles, ou des feuilletons, pondus par leurs IAs ? Et si ces « histoires artificielles » rassemblaient la même audience que les « faux groupes » des plates-formes de streaming, comme The Smoothie ou The Velvet Sundown, qui paraît-il ont des millions d’écoutes ? Et si leurs lecteurs s’en fichaient qu’elles aient été produites artificiellement, comme les enfants s’en fichent que leur parent soient allés chercher l’histoire du soir sur ChatGPT ?

Le pillage des auteurs que cela implique, et la concurrence déloyale que cela entraîne, ont déjà été abondamment exposés et discutés (ainsi que la question de la qualité), je voudrais proposer ici un autre commentaire. Pour nous aider à penser l’étrangeté de l’idée d’œuvres sans auteur ou autrice, on peut réinscrire le moment que nous vivons dans l’histoire longue : c’est avec l’introduction de l’écriture qu’on commence à attribuer l’invention de fiction à un auteur précis. Dans les cultures orales, les histoires sont le fait de la communauté. Elles sont transmises de génération en génération, et renouvelée à chaque performance, sans que les conteurs ne se les attribuent. Comme le rappelle Maurice Godelier dans un article récent, dans les sociétés traditionnelles la notion de « beauté » est « sans artiste ». En occident, ce n’est qu’à partir de la Renaissance que l’on commence à attacher de l’importance à l’attribution. En peinture (avec Dürer par exemple), on voit s’installer progressivement la démarche de signer systématiquement les œuvres, alors qu’avant elles pouvaient être sans signature, ou attribuées à un atelier (c’est la formation d’un champ « artistique » séparé de l’« artisanat »). Cette importance nouvelle de la signature ne vient pas à un moment anodin : l’arrivée de l’imprimerie entraîne, pour les artistes, la possibilité de reproduire et diffuser leurs œuvres à une échelle sans précédent, mais aussi celle d’être copié sans attribution.

Image : monogramme de Dürer

Les exemples de l’écriture et de l’imprimerie montrent qu’il y a une concomitance entre l’évolution des technologies culturelles et représentations de la subjectivité (la fétichisation de l’artiste à partir de la Renaissance est aussi le moment de l’« invention du sujet moderne » dans les termes de Foucault – repris ensuite, avec son lot de critiques, par Alain de Libéra), l’idée d’un sujet autonome et en maîtrise de ses pensées (dont Descartes aurait été le grand initiateur, ce qui fait débat) et donc à l’origine de ses productions culturelles. Les œuvres de l’esprit sont le fait d’individus identifiables qui en tirent une rémunération et une responsabilité.

Alors que ce paradigme a été déjà été abondamment critiqué et « déconstruit » au vingtième siècle, ce n’est qu’aujourd’hui qu’il pourrait s’effondrer, puisqu’après la critique théorique les grands modèles d’IA amènent une impossibilité pratique : si on ne peut plus prouver l’attribution, si un doute s’installe sur le fait qu’une œuvre de l’esprit a été fabriquée par un individu identifiable, le modèle ne marche plus.

Qu’est-ce qui vient après ? Si, dans les cultures orales, la beauté est « sans artiste », elle n’est pas pour autant sans attribution : ce sont les divinités, la tradition ou l’environnement naturel qui les soufflent aux humains (ou une association des trois, comme dans les « rêves » des tribus australienne). Et nous, à quoi allons-nous attribuer ces histoires produites par des algorithmes ? On entend des comparaisons entre l’espace latent des algorithmes et les archétypes de Jung, ou encore le monde des idées platoniciens. C’est intéressant dans la mesure où c’est une origine non individuelle. On retrouve l’idée que les individus sont au service des formes plutôt que l’inverse. Mais ce type d’attribution est vite confondu avec une forme d’objectivité illusoire. Ce serait un « point de vue de nulle part », plus proche de « la vérité », puisqu’il n’y a pas de « sujet » pour orienter le propos (ce n’est pas le point de vue de « quelqu’un »), ce qui oblitère le problème des biais et la possibilité d’instrumentaliser les algorithmes à des fins de propagande.

Étrangement, le modèle d’attribution qui émerge tend plutôt à attribuer la production des formes culturelles à l’IA « elle-même », comme si elle était un individu humain, mais un individu humain conforme au stéréotype du « sujet moderne » (autonome, rationnel, en maîtrise de ses pensées, etc.), ce stéréotype qu’elle vient pourtant dissoudre. Paradoxalement, l’IA est donc décrite dans les mêmes termes que ce « sujet moderne » dont elle vient sonner le glas en mettant fin au régime de l’attribution individualisée. Le résultat, c’est une grande confusion, puisque les IAs et les humains sont comparés selon des termes qu’aucun des deux n’incarne.

Comment en sortir ? Plutôt que de s’y embourber en reprenant la rhétorique des agents, de l’« alignement des valeurs » et autres AGI, on dispose de la grille d’interprétation des communs, ce qui permet à la fois de mieux comprendre la situation et d’amorcer des pistes juridiques : on peut voir la collecte des données comme une forme d’enclosure et proposer des manières alternatives de fabriquer l’IA (au niveau de la constitution des bases de données, de l’entraînement des algorithmes, de leur paramétrage…) comme le montrent les exemples de BLOOM, Pleias, Common Corpus, MLCommons…

Nouvel article : Grammaires fantastiques

Comment font ChatGPT (et équivalents) pour produire des textes au sujet de notions complexes, comme s’ils les “comprenaient” ? On entend beaucoup parler de l'”espace latent” des algorithmes, pour désigner la manière dont ils encodent ces notions et leurs relations mutuelles. A quoi cela correspond ? Comment les décrire de manière accessible ? Est-ce pertinent, comme le font de plus en plus de scientifiques ou d’entrepreneurs, de les comparer au monde des idées de Platon (spoiler : non) ? Y a-t-il d’autres comparaisons, plus fécondes et éclairantes, que l’on pourrait imaginer (spoiler : oui) ? C’est le thème de mon dernier article, publié dans la revue “Signata” (et disponible en accès libre sur Open Edition) :

https://journals.openedition.org/signata/5885