Manabe Daito : par-delà les frontières entre art et technologie

C’était en août 2016, pendant la cérémonie de clôture des Jeux olympiques de Rio, lors de la remise du drapeau à Tokyo pour les Jeux de 2020. Après l’apparition surprise du Premier ministre Abe Shinzô sous les traits du célèbre personnage de jeu vidéo Mario, nos écrans de télévision ont affiché des images encore jamais vues : des infographies animées et en relief des 33 disciplines qui seront en lice en 2020, superposées sur les images en direct du stade.

Réalité augmentée lors de la cérémonie de clôture des JO de Rio. Les infographies des 33 disciplines sont superposées en temps réel au spectacle dans le stade (images : Rhizomatiks Research)

C’est Rhizomatiks Research et son directeur Manabe Daito qui ont élaboré ce spectacle en réalité augmentée (RA). M. Manabe a co-fondé en 2006 Rhizomatiks, une entreprise qui conçoit et réalise des spectacles, depuis la programmation des logiciels jusqu’à la conception du matériel et de l’interface utilisateur. Rhizomatiks Research est l’unité de R&D de l’entreprise.

Son activité s’étend au domaine du divertissement avec, notamment, la diffusion en streaming des premières images en réalité virtuelle à 360 degrés et en temps réel du spectacle de la chanteuse islandaise Björk, ou encore le support technologique apporté à une performance du trio de techno-pop japonais Perfume, avec des rayons laser et des drones. M. Manabe est aussi l’auteur de nombreuses œuvres personnelles primées dans des festivals internationaux d’art des médias et de publicité. Une activité protéiforme, difficile à résumer en un mot.

« Il n’y a pas de barrière entre l’art et le divertissement dans mon travail, les deux sont liés, nous dit-il. Certaines choses ne sont possibles que dans le cadre de mon activité artistique personnelle, tandis que d’autres voient le jour grâce à des projets en commun avec des entreprises ou des institutions publiques. Certains projets d’abord artistiques pourraient même devenir, dans cinq ou dix ans, avec les progrès technologiques, quelque chose de parfaitement banal, intégré à la société. Cela a été le cas des jeux à écran tactile, par exemple. C’est le destin de l’art des médias, l’innovation technologique se périme très vite. »

De l’art expérimental au divertissement

L’application des nouvelles technologies comme le big data, l’Internet des objets (IoT) ou l’intelligence artificielle font évoluer la société en profondeur. Manabe Daito se sert de ces technologies dans le développement de ses activités. Par exemple, le projet qui l’a fait découvrir est une œuvre expérimentale pour laquelle il s’était fixé des électrodes sur le visage ; les impulsions électriques faisaient bouger ses muscles faciaux. La diffusion de ces images sur YouTube a changé la donne.

Manabe Daito : « electric stimulus to face », 2008 (vidéo : Rhizomatiks Research)

« Quand j’étais étudiant à l’IAMAS, j’ai commencé à m’exprimer par la programmation. Mais il n’existait presque aucun endroit où présenter mes réalisations à un large public. L’affichage ou la distribution de DVD ont leurs limites. En ce sens, YouTube a eu un poids déterminant. J’avais à peine mis mon œuvre en ligne que la réaction était mondiale. »

À partir de là, le nombre d’offres de travail et de collaboration avec l’étranger a bondi.

« Mais mon objectif n’est pas de trouver de nouveaux débouchés. Je crée des œuvres artistiques pour montrer les deux faces des nouvelles technologies, leurs possibilités et leurs dangers, et souligner très tôt aux yeux du monde les problèmes qui peuvent en résulter. »

Ces travaux expérimentaux ne sont-ils pas aux antipodes du domaine du divertissement grand public ?

« Entre 2004 et 2009, j’ai collaboré avec Fujimoto Takayuki de Dumb Type, pour ses représentations. Ce collectif artistique est réputé pour ses spectacles qui associent vidéos, sons et danse contemporaine. Nous avons invité la metteuse en scène et chorégraphe MIKIKO car nous voulions travailler avec Perfume. Après, MIKIKO nous a recontactés pour intégrer des facettes technologiques dans la tournée suivante de Perfume. »

Le spectacle de Perfume à l’occasion de SXSW（South by Southwest）le 17 mars 2015 à Austin (Texas) aux États-Unis (©Amuse Inc. + UNIVERSAL MUSIC LLC + Rhizomatiks co.,ltd. + DENTSU INC.)

Ce projet verra le jour lors des concerts de Perfume au Tokyo Dome en 2010. Des rayons laser pour faire éclater les ballons lumineux au-dessus du public, la diffusion d’images en 3D du groupe prises avec une caméra industrielle… les nombreuses innovations technologiques ont ravi les spectateurs. Cette prestation a même attiré l’attention de créateurs jusque-là peu intéressés par le domaine du divertissement.

« Tout était nouveau, ces technologies n’avaient jamais été utilisées pour un concert, alors il a fallu s’entraîner encore et encore pour être sûrs que tout fonctionnerait le jour J. Quand vous réussissez, on vous confie d’autres travaux. Chaque étape est un pas vers des événements de plus grande envergure. »

Les Jeux olympiques, une scène grandeur nature

C’est ainsi qu’à l’expérimentation et au message porté par l’art des médias, des éléments propres aux œuvres de Manabe Daito, vient s’ajouter une facette physique, à travers la proximité et l’expérience dans le divertissement. Avec MIKIKO, il travaille l’expression expérimentale dans les spectacles de Perfume comme dans ceux de sa compagnie de danse féminine ELEVENPLAY.

« Par exemple, nous avons capté les mouvements des danseuses pour les faire reproduire simultanément par une nuée de drones. Ou alors, nous avons installé les spectateurs sur des sièges autonomes, avec un casque de réalité virtuelle, pour expérimenter des allers et retours entre les mondes virtuel et réel. Des images et des sons, du matériel et des logiciels, des personnes en chair et en os : nous avons tenté de fusionner tous ces éléments. L’expérience ainsi accumulée a débouché sur la performance live aux Jeux de Rio. »

Spectacle « border » Rhizomatiks Research x ELEVENPLAY au Centre des arts et médias de Yamaguchi en février 2016 (photo : Honma Muryô/vidéo : Rhizomatiks Research)

La cérémonie de clôture des Jeux olympiques, un événement planétaire. Le prestige du Japon était en jeu, et l’échec impensable. Miser sur une performance live représentait un risque réel. Les images en réalité augmentée élaborées en captant en temps réel les mouvements des danseurs, la lumière et les couleurs des cadres lumineux clignotants… tout synchroniser à la perfection nécessitait la mise en place d’un système hautement sophistiqué, établi à force de simulations détaillées.

« C’était une tentative sans précédent : après l’apparition du Premier ministre, projeter en réalité augmentée des images des 33 disciplines disputées aux prochains Jeux. Cela devait se passer en temps réel pour que l’effet soit vraiment marquant. Une infographie toute prête aurait manqué de saveur. Puisque les spectateurs du monde entier regardaient le spectacle en direct, les images devaient elles aussi être live. L’idée n’est pas d’utiliser une technologie nouvelle, mais de montrer le direct, pour faire vibrer les gens. »

Remise du drapeau olympique lors de la cérémonie de clôture des Jeux de Rio (Photo by Tokyo 2020 / Shugo TAKEMI)

L’annonce des Jeux de Tokyo a été une réussite qui a fait grimper en flèche la notoriété de Manabe Daito et de Rhizomatiks. Ses œuvres sont de plus en plus souvent présentées à la télévision, suscitant des réactions intéressées, mais aussi des questionnements.

« Ce n’est pas étonnant. Parce que depuis plusieurs années, je cherche par tous les moyens à brouiller la frontière entre le réel et le virtuel. Il est intéressant de constater que l’intérêt croissant des gens pour les nouvelles technologies est visible sur les réseaux sociaux. Pour l’émission musicale de fin d’année de la NHK, en 2017, nous avons fait palpiter les lumières des immeubles de Shibuya au rythme d’une chanson de Perfume. Beaucoup de gens se sont demandé si c’était réel ou virtuel, ils prenaient des photos, décortiquaient l’aspect technique, en parlaient sur les réseaux sociaux. Je trouve ça extrêmement intéressant. »

Faire vibrer les gens

Alors qu’il se trouve sous le feu des projecteurs, Manabe Daito sent monter en lui un puissant besoin de retourner à ses sources, de renouer avec une expression artistique expérimentale.

« Au Japon, on est soumis à des contraintes budgétaires et à une certaine prudence dans l’expression. À vrai dire, actuellement, l’endroit où nous pouvons vraiment nous livrer à une expression artistique expérimentale, c’est la Chine. Les Chinois n’hésitent pas à essayer de reproduire nos œuvres passées. Et parfois, ils nous contactent pour collaborer, parce qu’ils n’y sont pas arrivés ! Mais l’énergie qu’ils mettent dans les formes d’expression nouvelles et la vitesse avec laquelle ils passent à la réalisation est incomparable. En même temps, il y a aussi des entreprises occidentales d’envergure mondiale qui s’intéressent à notre travail et qui font travailler des centaines d’employés sur la question. Ça, c’est inquiétant. »

Alors que de nouvelles technologies apparaissent et disparaissent sans cesse, de plus en plus d’artistes les mettent au service de l’art numérique, et la concurrence est vive au niveau mondial. Comment, dans ce contexte, Manabe Daito parvient-il à continuer à créer des œuvres véritablement innovantes ?

« Je crois que c’est mon envie de créer des choses qui font vibrer les gens. Mais c’est difficile, parce que l’expression artistique que nous visons est fondamentalement différente d’une démonstration technique. Une démonstration faite dans le cadre d’une recherche doit pouvoir être expliquée avec précision, mais dans le cas de l’art ou du divertissement, il faut en donner une expression intéressante. L’idée n’est pas forcément de faire des prouesses technologiques. Par exemple, "Fade out" (2010) est une œuvre qui a coûté seulement quelques dizaines de milliers de yens, réalisée avec un laser acheté sur un site de ventes aux enchères, l’idée est toute simple. Ce qui est difficile en fait, c’est de trouver une idée que personne d’autre n’a eue et de lui donner forme. »

Manabe Daito + Ishibashi Motoi, « 405nm laser fade out test 2 » (2010). Projection d’un rayon laser sur un écran recouvert de peinture phosphorescente. Une image est dessinée en jouant sur les variations de luminosité de la peinture phosphorescente dans le temps. (vidéo : Rhizomatiks Research)

Manabe Daito, intéressé par le corps dans ce qu’il a de diamétralement opposé à l’évolution des technologies numériques, prend des leçons de danse pour éprouver dans sa chair les possibilités de notre corps. C’est ainsi qu’il est arrivé à une expérimentation qu’on pourrait qualifier d’art expérimental extrême.

« Je suis en train de me lancer dans une expérience qui me tient à cœur depuis longtemps : envoyer des impulsions électriques dans mon propre cerveau. Grâce à la technologie de la stimulation magnétique transcrânienne et avec la coopération d’un grand professeur, nous allons stopper la zone du néocortex impliquée dans le langage pour voir quel impact cela a sur la conversation, par exemple. J’aimerais un jour me faire implanter une puce électronique dans le cerveau, c’est à tenter pour savoir sur quoi cela peut déboucher. Je veux continuer à faire des recherches et à expérimenter, pour créer des œuvres toujours nouvelles, sans être à la traîne des évolutions technologiques. »