American Marconi Wireless News - De l'imagination à la toile: une IA "lit" le cerveau pour recréer des images

"Dans ma tête, j'ai pensé très fort à un volcan", raconte Pierre Fautrel, l'un des membres d'"Obvious" qui s'est prêté à l'expérience.

Pendant une heure dans une machine IRM de l'Institut du cerveau de l'hôpital de la Pitié Salpêtrière à Paris, il a imaginé plusieurs scènes, chacune inspirée par une courte description. Pendant le processus, l'activité de son cerveau a été enregistrée pour ensuite être traitée par une IA spécialement entraînée.

Si Pierre Fautrel confesse que l'œuvre générée n'est pas exactement ce qu'il avait en tête, "elle en a gardé les éléments sémantiques: une montagne enflammée avec de la lave qui coule avec un paysage sur fond clair."

Depuis près d'un an, lui, Hugo Caselles-Dupré et Gauthier Vernier consacrent toute leur énergie à "Mind to Image" (de l'esprit à l'image), un projet qui semble relever de la science-fiction: retranscrire l'imagination d'un artiste grâce à une IA générative.

- "Prouesse technique" -

Pour y parvenir, ces trentenaires sont partis d'un modèle "open source" existant, MindEye, qui associe des images vues à l'activité du cerveau, et ont ensuite entrainé leur propre IA en plusieurs étapes.

D'abord, en diffusant des portraits et des paysages à l'un des artistes dans l'IRM pour observer quelles zones de son cerveau s'activent, et en utilisant ces données pour nourrir l'IA.

Celle-ci tente de reconstruire les images originales uniquement à partir des données de cerveau, sans les avoir vues lors de l'entraînement.

Un processus répété de nombreuses fois pendant une dizaine d'heures "pour créer une base de données", explique Hugo Caselles-Dupré.

Dans un deuxième temps, ils ont refait l'exercice en se basant uniquement sur des souvenirs de ces images, avant de tenter l'expérience sur de l'imagination pure à la lecture de "prompts", des textes descriptifs écrits avant d'entrer dans l'IRM.

"On sait depuis une dizaine d'années que c'est possible de reconstruire une image vue à partir de l'activité de ce cortex visuel", explique Alizée Lopez-Persem, chercheuse à l'Institut du cerveau et à l'Inserm. "Mais une image +imaginée+, non. Ca représente un challenge".

Plusieurs dizaines d'heures sont nécessaires afin de faire le tri dans les informations recueillies dans l'IRM avant de les fournir à l'IA.

Mais, une fois ce travail effectué, la génération des images "est plus ou moins instantanée, sur des ordinateurs très puissants", résume Hugo Caselles-Dupré.

"Il y a encore deux ans, je n'aurais jamais cru que ça puisse exister", témoigne Charles Mellerio, neuroradiologue qui participe au projet de recherche du trio.

Pour lui, cette "prouesse technique" est liée à un double progrès ces dernières années: celui de l'imagerie médicale, qui a fait un bond en avant "en termes de résolution et de précision", et le développement fulgurant des IA génératives.

- IA surréaliste -

Le trio d'artistes s'est également inspiré du mouvement surréaliste, qui fête ses 100 ans en 2024, pour donner un ton particulier aux créations de son algorithme.

"C'est un mouvement où on essaye d'aller le plus rapidement possible entre l'image mentale et la réalisation plastique", note Pierre Fautrel, qui voit dans leur expérimentation un moyen de "réinterpréter le surréalisme".

"Pour nous, il y a vraiment des liens entre l'art et la science", ajoute Hugo Caselles-Dupré, qui reconnait que ce type de technologie "peut faire très peur si elle était utilisée de la mauvaise manière".

A l'avenir, les trois artistes espèrent décliner leur expérimentation sur d'autres formats, en reconstruisant du son ou de la vidéo. D'ici là, ils vont présenter leurs différentes créations en octobre à la galerie Danysz, à Paris.

En 2018, ils avaient sidéré le monde de l'art en vendant plus de 400.000 euros chez Christie's, à New York, une œuvre présentée comme la première produite par un logiciel d'intelligence artificielle, "Edmond de Belamy", un portrait fictif aux contours flous imprimé sur toile.

A.Jones--AMWN