Compte-rendu de la conférence d’ouverture du séminaire IA générative, donnée à l’Institut de l’ENS en septembre 2023

Quelques leçons de l’histoire

En mars 2023, peu après que Elon Musk ait défrayé la chronique en appelant à un moratoire sur les recherches en IA (sans pour autant rien cesser de ses propres activités), Geoffrey Hinton annonce sa démission de Google. Le pionnier le plus ancien et le plus influent du deep learning s’avoue dépassé et inquiet devant les évolutions récentes du champ auquel il a tant contribué, nous invitant tous à faire preuve d’humilité dans nos appréciations.

Si les dernières avancées de l’IA défient l’entendement, il est toutefois possible de mieux cerner ce qui se trame en revenant à certaines notions fondamentales, à commencer par celle d’algorithme. Inventés au départ pour des agents humains, les algorithmes consistent à décomposer une opération en étapes si élémentaires que les opérateurs peuvent les effectuer sans comprendre ce qu’ils font. Autrement dit, mettre au point un algorithme revient à trouver les moyens de réaliser une opération en se passant d’intelligence : lorsqu’est mise au point une machine qui joue au go, cela ne signifie pas que la machine est dotée d’intelligence, mais que ses concepteurs ont trouvé le moyen de jouer au go en s’en passant.

Pour autant, l’idée qu’il est possible de fabriquer des machines intelligente est présente dès les plus anciens textes de notre civilisation (Homère, Hésiode…), en particulier via les fabrications du dieu Héphaïstos, où elles sont associées à la possibilité d’un monde sans travail.

Inspirés par cet exemple, certains savants s’attellent à fabriquer des automates qui imitent l’humain et le vivant, quitte à tricher pour impressionner leur public. C’est le cas, au dix-huitième siècle, du célèbre « turc mécanique », mis au point par le baron von Kempelen, censé pouvoir jouer aux échecs alors qu’il dissimulait un opérateur humain. Cette tendance historique à l’exagération, voire à la supercherie, invite à la prudence aujourd’hui : des dispositifs présentés comme « intelligents » ou simplement « autonomes » cachent une foule d’humains indispensables à leur bon fonctionnement, chargés de leur fournir de l’énergie, des données, de labelliser ces données (« travailleurs du clic »), de faire la maintenance et les mises à jour de leurs logiciels, etc.

C’est dans les années cinquante du vingtième siècle, à la faveur de l’invention de l’ordinateur, que la fabrication de machines intelligentes devient un projet scientifique sérieux. Impressionnés par leurs premières réalisations, les chercheurs pensent être sur le point d’y arriver, ce qui est relayé à grand bruit par la presse. Le temps passe sans qu’ils ne réussissent, mais sans non plus affaiblir leur optimisme : cela fait maintenant plus de soixante-dix ans que les machines intelligentes sont annoncées pour demain.

L’IA est donc une idée aussi ancienne que notre civilisation, liée à un rêve (ou un cauchemar) de fin du travail, qui amène à présenter comme autonome des machines n’existant que grâce au travail des humains, ainsi que comme intelligents des algorithmes dont le principe est pourtant d’évacuer la pensée de l’opération, et dont le succès est systématiquement reconduit au lendemain.

De l’IA à l’IA générative

Ces remarques critiques ne doivent pas faire perdre de vue les réalisations concrètes considérables auxquelles aboutissent les chercheurs. Dès 1957, Frank Rosenblatt fabrique le Perceptron, un réseau de neurones capable de reconnaître les lettres de l’alphabet. À l’époque, deux écoles rivalisent d’ingéniosité : les connexionnistes imitent le fonctionnement du cerveau par des machines dites apprenantes, tandis que l’école symbolique préfère reproduire l’enchaînement logique des raisonnements.

En 1969, la publication d’un livre de critiques du Perceptron sonne le glas de l’approche connexionniste et marque le triomphe (temporaire) de l’école symbolique. Les réseaux de neurones apparaissent comme une fausse piste jusqu’en 1986, lorsque les travaux de quelques chercheurs isolés (dont Geoffrey Hinton) trouvent les moyens de dépasser les limites identifiées en 1969.

Il faut attendre les années 2010 pour qu’à la faveur de l’amélioration des algorithmes (invention du deep learning), de la mise à disposition d’immenses bases de données à même de les entraîner (l’époque des big data) et de l’augmentation de la puissance de calcul disponible (grâce aux progrès des cartes graphiques destinées aux jeux vidéo), la supériorité de leur approche éclate au grand jour.

Très rapidement, le deep learning s’impose dans de nombreux domaines : reconnaissance d’image, du son, reconnaissance faciale, mise au point de voitures autonomes, jeu de go… Utilisé au départ comme outil de détection des formes, il devient, grâce à l’invention par Ian Goodfellow des GANs (Generative Adversarial Networks, 2014) capable de produire des formes nouvelles – l’IA devient « générative ».

En 2017, l’invention des « transformers » étend, par d’autres voies, ces capacités au langage. Les « générateurs » de textes grossissent de manière vertigineuse et apportent des « réponses » de plus en plus pertinentes, au point qu’en novembre 2022, la publication de ChatGPT sidère le grand public.

Comprendre l’IA générative : l’« espace latent »

L’entraînement des algorithmes d’IA peut être comparé à un « classement » des exemples fournis en fonction de caractéristiques différenciantes décelées automatiquement (taille, couleur…). Tout se passe comme si l’algorithme « rangeait » les exemples dans un espace à plusieurs dimensions, chaque dimension correspondant à une de ces caractéristique différenciante – c’est l’espace latent.

Après l’entraînement, les objets similaires sont regroupés dans des « régions » de cet espace. Chaque notion « apprise » par l’algorithme (par exemple, la notion de chat ou de chien) est une région de l’espace latent, autrement dit une région de l’espace multidimensionnel des caractéristiques différenciantes.

Lorsqu’un nouvel objet est présenté, l’algorithme le « situe » dans l’espace latent en fonction des caractéristiques décelées : est-il dans la « région » des chats, ou des chiens ? Inversement, si on lui indique des coordonnées de la région (par exemple, dans la région des chats), il produit une image avec les caractéristiques correspondantes (une image de chat). Il est possible de combiner les caractéristiques des chats et des chiens pour obtenir une image de « chat-chien », ou encore de moduler ces caractéristiques à l’envi : ajouter des lunettes, changer la posture, l’éclairage, mais aussi appliquer le style d’un peintre ou d’une marque, pour peu que ces caractéristiques aient été « apprises » au cours de l’entraînement, c’est-à-dire qu’il y en ait des exemples (des images de la marque ou du peintre concernés) dans la base de données.

La même chose s’applique au langage (les mots et les expressions sont « rangés » dans un espace multidimensionnel qui encode leurs relations de distance ou de proximité et permet de produire de nouvelles expressions, ainsi que de moduler les existantes), mais aussi au son, à la 3D, aux cartes de chaleur, avec des outils permettant de passer d’un mode à l’autre – ils deviennent multimodaux.

Ainsi, on peut décrire l’IA générative comme l’encodage d’une collection d’exemples dans un espace multidimensionnel qui permet de produire des esquisses de formes (textes, images, sons…), de les moduler en changeant leurs caractéristiques globales (éclairage, style) ou locales, en transférant les caractéristiques d’une forme à une autre, ou encore en les « étirant » (compléter un texte, outpainting…).

L’IA générative est-elle créative ?

Dans la mesure où les algorithmes produisent des formes qui n’existaient pas auparavant, peut-on dire qu’il y a création ? GPT-4 obtient de bon scores sur les tests de créativité standard (trouver une expression linguistique associant des mots très hétéroclites, lister les mots les plus différents possibles…), mais, dans la mesure où l’algorithme a encodé les relations de proximité et de distance entre les expressions linguistiques, cela revient à soumettre une énigme à quelqu’un qui connaît déjà la réponse, autrement à dit à tester la mémoire et non la créativité.

La distinction entre jeu fermé (ludus) et jeu ouvert (paidia), apportée par Roger Caillois, permet de mieux cerner le périmètre de ce que peuvent faire les algorithmes. S’ils font mieux que les humains lorsqu’il s’agit de jeux dont les règles sont claires et définies (conduire, jouer aux échecs ou au go…), ils sont à la peine lorsque les règles changent ou lorsqu’une situation exceptionnelle impose d’en inventer de nouvelles. En mars 2020, nos mutations soudaines de comportements (confinement, achats compulsifs) ont dérouté les algorithmes de recommandation et avec eux ceux de prévision des ventes, puis de prévision des stocks. La multiplication actuelle des crises (pandémie, guerre, réchauffement et catastrophes climatiques…) nous invite donc à préserver le rôle des opérateurs humains (surveillance, maintenance, mises à jour…) plutôt que de souscrire au rêve de machines « autonomes » qui nous mettrait en péril.

Pour reprendre une distinction de Gaston Bachelard (au sujet de l’invention scientifique), les algorithmes sont capables d’invention incrémentale mais pas d’invention révolutionnaire, car l’invention révolutionnaire ne consiste pas à « faire » quelque chose mais, à partir du constat qu’une règle ne fonctionne plus, à être capable de la suspendre, c’est à dire à « ne plus faire » quelque chose. Cet arrêt, ce suspens, ne peut pas faire partie du périmètre d’un programme car il fait tomber dans une récursion infinie : il faudrait définir les règles qui régissent les changements de règles, et donc définir aussi les règles régissant le changement des règles régissant le changement de règles, et ainsi de suite.

Si l’IA générative est limitée à la créativité incrémentale, elle est entre les mains d’humains dotés de leur pleine créativité. Elle fournit une occasion d’inventions révolutionnaires, qui viendront des usagers. En 1878, lorsqu’Edison liste les applications qui pourraient faire le succès du phonographe (enregistrer les voix de ses proches, laisser des messages…), il lui est difficile d’imaginer la place que pourrait prendre la musique : il réfléchit à partir des problèmes de son temps, depuis une société où la musique n’a pas l’importance qu’elle pourra prendre plus tard – justement grâce au phonographe. De la même manière, l’importance de l’IA générative ne réside pas dans les tâches actuelles qu’elles nous permettrait de faire plus rapidement, mais dans les nouveaux usages qui vont se développer à la faveur de son existence.

---

---