VR : les coulisses techniques de Mondes Disparus

LeMagIT : Combien de temps faut-il pour concevoir un espace immersif virtuel comme celui de Mondes Disparus ?

Fabien Barati (Emissive) : Il y a deux parties à considérer. La première est la création de contenus. Elle a pris environ un an et demi en collaboration avec les équipes du Muséum. L’autre, c’est la partie technologique qui permet de gérer les flux de visiteurs, l’équipement, etc.

Pour cette partie, nous développons une suite logicielle depuis une dizaine d’années. C’est elle que nous avons utilisée sur d’autres expéditions immersives (Kheops, Éternelle Notre-Dame).

LeMagIT : Quelle est la particularité de votre plateforme ? Que fait-elle exactement ?

Fabien Barati : Son objectif est de gérer de grands flux de visiteurs. Ce qui implique plein de choses : la manière de créer le parcours à l’intérieur de la zone d’expérience, la synchronisation des visiteurs dans un groupe [N.D.R. : les visiteurs sont regroupés par petites équipes (une famille par exemple) pour vivre la même expérience, se voir entre eux, mais ne pas voir les autres groupes… sauf quand ils sont trop prêts pour ne pas se rentrer dedans], gérer tous les équipements, la borne d’inscription [N.D.R. : où l’on rentre son nom, sa langue, etc.].

Le logiciel gère tout cela, de manière simple, à la fois pour les visiteurs et pour les opérateurs.

Nous sommes, pour l’instant, les seuls au monde à pouvoir gérer autant de visiteurs en simultané dans un espace dédié en « free roaming » [N.D.R. : déplacement libre en réalité virtuelle].

LeMagIT : Comment fonctionne ce « free roaming » et la localisation de chaque acteur ?

Fabien Barati : La localisation se fait au niveau des casques. Nous les avons précalibrés et chaque casque sait très précisément où il se trouve dans l’espace.

Le tracking est très lié à la technologie de chaque fabricant. Mais il y a un algorithme assez répandu, « Slam », que presque tous utilisent pour le Tracking Inside-Out. Des caméras dans le casque détectent des repères dans l’espace. L’algorithme trouve alors des points saillants dans l’environnement, sur lesquels il va s’appuyer pour se repérer.

C’est pour cela que nous créons des environnements avec une multitude de points saillants, de coins et de croisements. Pour Mondes Disparus, nous avons recouvert toutes les surfaces de ces motifs – sur le sol, jusqu’à très haut sur les murs – parce qu’en exploitation, vous n’êtes jamais seul. Des visiteurs cachent certains angles des caméras d’autres visiteurs. Et malgré cela, il faut quand même voir en permanence le plus de motifs possible.

Les informations de chaque casque sont ensuite remontées vers notre plateforme, qui gère tous les évènements en fonction de toutes ces positions.

LeMagIT : Cette plateforme est un outil propriétaire ?

Fabien Barati : Oui, mais elle est agnostique en matière de contenus et de casque de réalité virtuelle (VR). Nous avons néanmoins fait quelques adaptations pour Mondes Disparus, où (grande première) le dispositif se réduit à un simple casque.

Sur les précédentes expositions, les visiteurs portaient aussi des PC dans des sacs à dos. Là, le client de notre plateforme est directement intégré dans les casques.

LeMagIT : Quels casques avez-vous choisis pour Mondes Disparus ? Combien en avez-vous déployé ?

Fabien Barati : Ce sont des HTC Focus 3, sous Android. Il y en a une bonne centaine, même si la jauge de l’exposition au MNHN est plus basse. Il faut compter, en plus, les casques en train d’être équipés, ceux qui sont en train d’être déséquipés, et d’être nettoyés, et quelques casques de rechange (au cas où).

« Pour Mondes Disparus, nous avons utilisé Unity. Mais notre plateforme étant agnostique, nous avons des plug-ins pour tous les moteurs de 3D classiques. »

LeMagIT : Pour la partie 3D, sur quelles briques technologiques vous êtes-vous appuyés ?

Fabien Barati : Pour Mondes Disparus, nous avons utilisé Unity. Mais notre plateforme étant agnostique, nous avons des plug-ins pour tous les moteurs de 3D classiques (Unreal, etc.). D’autant plus que nous souhaitons l’ouvrir à d’autres créateurs qui peuvent utiliser d’autres outils 3D existants.

LeMagIT : Quel est le reste du dispositif, en backend, que vous avez déployé dans la galerie de minéralogie du MNHN ?

Fabien Barati : Le cœur du dispositif est composé d’un ensemble de serveurs qui font tourner notre suite – dont l’interface de monitoring des flux de visiteurs. Ce sont eux qui gèrent, en temps réel, tous les utilisateurs et tous les scénarios.

Ces serveurs sont connectés en Ethernet aux bornes d’enregistrement et à des bornes wi-fi.

Il y a en tout huit bornes wi-fi dans la galerie, qui sont elles-mêmes connectées aux casques et aux terminaux durcis (ceux pour scanner les tickets par exemple).

Tout converge vers ces serveurs.

« Les images sont directement calculées par les casques. Le serveur agit exactement comme un serveur dans les jeux vidéo : pour le partage de données, de positions, d’actions entre visiteurs, etc. »

LeMagIT : Ils gèrent aussi la modélisation 3D pour chaque visiteur ?

Fabien Barati : Non, les images sont directement calculées par les casques. Le serveur agit exactement comme un serveur dans les jeux vidéo : pour le partage de données, de positions, d’actions entre visiteurs, etc. C’est beaucoup de données, mais on ne fait pas de streaming.

Concrètement, le serveur va envoyer à votre casque la position des autres visiteurs, et c’est votre casque qui va afficher – ou pas – leurs avatars autour de vous.

LeMagIT : Quel a été le plus gros défi technique à relever ?

Fabien Barati : Il y a eu plein de « petits » challenges pendant ces années de développement pour arriver à ouvrir, en janvier 2022, Éternelle Notre-Dame.

Sur la partie technique, nous n’avons jamais été vraiment bloqués, même si c’était beaucoup de temps investi, et beaucoup de réglages. En revanche, sur l’ergonomie fonctionnelle, nous avons fait des avancées qui ont un vrai impact sur les flux de visiteurs. Mais, en amont, il a fallu faire un gros de travail de recherche sur l’UX.

Un résultat tangible, c’est le PC de monitoring qui donne un visuel de toutes les données des serveurs, avec une carte qui affiche les visiteurs en temps réel, la liste de tous les groupes, là où ils en sont dans l’expérience ou encore le niveau des batteries des casques.

LeMagIT : Au-delà des expositions, vous êtes un expert de la réalité augmentée (AR). Quels usages intéressants voyez-vous en entreprise pour ces technologies ? Plusieurs groupes semblent commencer à les utiliser pour le on-boarding. En voyez-vous d’autres ?

Fabien Barati : Effectivement, la VR est de plus en plus utilisée dans l’accueil des nouveaux employés. Par exemple pour découvrir des bureaux, et où sont les choses.

Je vois aussi des usages dans la formation, qui sont surtout utiles – de mon point de vue – dans les métiers manuels comme l’artisanat.

Il y en a aussi dans la maintenance, où l’on peut relier des états de dispositifs à leurs doubles virtuels avec lesquels on peut interagir.

« Je conseillerais de voir comment la VR peut répondre aux besoins de l’entreprise. Et aussi de se renseigner sur les possibilités des casques. »

On peut aussi, évidemment, faire de la prévisualisation avec de la VR pour tout ce qui est design et se projeter ainsi dans le futur pour prendre de meilleures décisions.

Mais les grands usages que je vois aujourd’hui dans les entreprises restent sur le marketing et la communication : l’expérience de marque pour des clients ou des communications internes.

LeMagIT : Cela reste d’ailleurs une de vos activités ?

Fabien Barati : Oui. Cela fait 18 ans que notre société existe et pendant toutes ces années nous avons fait beaucoup d’expériences dans tous ces usages. Aujourd’hui, nous avons décidé de nous concentrer beaucoup plus sur le format des expéditions immersives. Mais, en continuant aussi de faire des expériences de marque – notamment pour de grandes maisons de luxe.

LeMagIT : Quels conseils donneriez-vous aux dirigeants et aux DSI qui voudraient expérimenter la réalité virtuelle en milieu professionnel ?

Fabien Barati : Déjà, et avant tout, de tester soi-même, d’être curieux, et d’expérimenter plusieurs types d’usage.

Fabien Barati

LeMagIT : De tester en allant voir Mondes Disparus ?

Fabien Barati : (sourire) Oui, voilà !

Ensuite je conseillerais de voir comment la VR peut répondre aux besoins de l’entreprise. Et aussi de se renseigner sur les possibilités des casques. Certains sont plus orientés grand public, d’autres sont beaucoup plus pro et vont pouvoir s’intégrer dans le réseau de l’entreprise plus facilement.

LeMagIT : Et pour le développement ?

Fabien Barati : Tout tourne autour des moteurs Unity ou Unreal. Clairement.

Cela changera peut-être un peu avec le casque d’Apple, mais il fonctionne aussi sur Unity.

LeMagIT : Nous avons parlé de la VR, mais quid de la réalité augmentée (qui par ailleurs est utilisée par la MNHN dans son exposition permanente Revivre) ?

Fabien Barati : Nous avons aussi travaillé sur la réalité augmentée (AR), mais nous nous positionnons aujourd’hui sur l’immersion complète. Les cas d’usages de l’AR sont un peu différents. Cela étant, ce sont les mêmes savoir-faire et la même technologie derrière.

Donc quand on sait faire de la VR, on est censé pouvoir faire de la réalité mixte. Mais pour l’AR, il faut qu’il y ait un intérêt à interagir avec l’environnement réel. C’est le cas pour Revivre (coproduction MNHN et Saola), où on voit une reproduction d’un animal d’une espèce disparue ou un fossile, et tout d’un coup un spécimen vivant [N.D.R. : numérique] arrive. Cela a du sens dans ce cas-là. Moins pour Monde Disparus.

« Le casque d’AR d’Apple, c’est un avant-goût de ce que le futur pas très lointain nous réserve, quand la réalité mixte sera possible simplement avec une paire de lunettes. »

LeMagIT : Pensez-vous que le casque d’AR d’Apple – le Vision Pro – va faire évoluer ces usages ?

Fabien Barati : J’ai hâte de le tester. Les méthodes d’interaction et de détection ont l’air au top !

Ensuite, je suis plus dubitatif sur l’intérêt des premiers usages mis en avant de réalité mixte à la maison ou au travail.

Je pense que c’est un avant-goût – une première « vision » justement – de ce que le futur pas très lointain nous réserve, quand la réalité mixte sera possible simplement avec une paire de lunettes. Là ce sera intéressant de voir les usages qui en découlent.

En tout cas, moi je trouve cela globalement très positif.

LeMagIT : Pour rester dans la prospective : que vous inspire le concept de métavers ? On en parle moins, mais pensez-vous qu’il faut continuer à le (ou les) regarder de près ?

Fabien Barati : Oui. Je pense que les métavers vont se développer. Il y a déjà des mondes persistants qui accueillent énormément de personnes chaque jour. Certes, ce sont surtout des plateformes de jeux, mais je pense que cela va se développer et ensuite être utilisé sous forme immersive, quand le marché des casques VR aura atteint le grand public. Je n’ai pas trop de doutes sur le fait que cela va arriver.

C’est encore un peu trop tôt, mais si vous regardez bien, certaines plateformes de jeux sont gigantesques. En fait, d’une certaine manière, on a déjà mis le pied dedans.

LeMagIT : Pour conclure, j’aimerais revenir sur Mondes Disparus. Peut-on espérer un « export » ou un portage de cet univers immersif – honnêtement fascinant – vers d’autres plateformes (PC, casque grand public ou autre) pour revivre l’expérience à la maison ?

Fabien Barati : Cela pourrait se faire. Mais c’est aussi très lié à un marché. Si l’on voit qu’il y a un intérêt – économique ou pédagogique, on ira.

Changer de dispositif n’est pas très compliqué en soi, mais nous voulons vraiment garder l’accent sur l’expédition immersive, sur le déplacement, sur l’usage du corps, et sur le fait d’être physiquement avec d’autres personnes (même si l’univers est virtuel). Cela rajoute vraiment une dimension à l’expérience.

Or aujourd’hui, encore assez peu de monde possède un casque à la maison. Et ce portage aurait quand même un coût. Donc je ne suis pas sûr qu’on puisse avoir un retour sur investissement avec.

Mais cela arrivera sûrement dans le futur, quand le marché sera plus équipé et plus mature.