Evolved 5G : Assistance à distance en Réalité Augmentée

Evolved-5G est un projet de recherche H2020 financé par la Commission Européenne. Il a pour but de mettre en place un écosystème pour faciliter l’accès aux fonctionnalités des réseaux 5G pour les développeurs tiers. Au-delà des aspects académiques (publications scientifiques, participation à des conférences etc), le projet avait pour objectif de mettre en place des procédures et outils destinés au monde professionnel intéressé par la 5G.
Après 3 ans de recherche, un budget global de 7.9 millions d’euros et des collaborations fructueuses, le projet EVOLVED-5G arrivera à son terme en cette fin d’année 2023. L’occasion pour Immersion de revenir sur les avancées réalisées concernant l’assistance à distance en Réalité Augmentée et la 5G.

Assistance à distance

Immersion s’est investie dans ce projet afin d’explorer les bénéfices de cette technologie pour l’un des domaines d’application phare : l’assistance à distance. En effet, quoi de mieux que de la Réalité Augmentée (RA) voir Réalité Mixte (RM) pour guider à distance une personne en difficulté ? Les technologies immersives permettent de remplacer l’encombrante documentation papier par un guidage pas-à-pas pour faciliter le travail des utilisateurs. C’est notamment ce que nous avions mis en place chez Renault Trucks il y a de cela quelques années avec des casques Hololens 2.
Dans le cas d’une assistance à distance, un ou une experte va donc pouvoir voir en temps réel l’espace de travail de son interlocuteur et la guider à distance. Cela soulève néanmoins une grande interrogation par rapport au réseau, qui doit être particulièrement performant pour autoriser une collaboration fluide entre les deux utilisateurs.

Les bénéfices de la 5G

C’est là que les bénéfices de la 5G interviennent. Un réseau 5G offre en effet des niveaux de latence et de bande passante compatibles avec les exigences d’une collaboration en temps réel en RA. Elle propose aussi des mécanismes additionnels intéressants, comme le suivi de la Qualité de Service (QoS) du réseau. Autrement dit, il est possible d’être informé en temps réel du statut du réseau et de l’ampleur des éventuels problèmes qui peuvent advenir.

Réalisations : la Network App d’Immersion

Les réseaux 5G sont donc pertinents pour certains de nos cas d’usage. Comment lier notre application d’assistance à distance en RA à ces fonctionnalités réseau ? EVOLVED-5G apporte une réponse claire : les Network Apps. Autrement dit, des applications servant d’intermédiaire entre une application métier (on parlera d’application verticale) et les composants clés du réseau 5G (5G Core).
Immersion a conçu et développé sa propre Network App. Cette application en Python, basée sur Flask, reçoit en entrée des demandes haut niveau de la part de notre application d’assistance à distance en RA. Elle va interpréter ces requêtes et déclencher les appels de fonction correspondants. Plus précisément, en se servant du SDK développé lors du projet, elle utilise en coulisse des APIs réseau standardisées : CAPIF et NEF (Network Exposure Function). Cela lui permet de faire des requêtes bas niveau au réseau 5G avec des paramètres adaptés à la demande initiale (via l’API QosMonitoring). Le réseau va accepter la requête, créer une souscription et commencer à faire des rapports réguliers à la Network App concernant les utilisateurs. La Network-App n’aura alors plus qu’à traduire ces rapports en informations simplifiées à envoyer à l’application d’assistance à distance.

Cette première fonctionnalité est déjà très intéressante puisqu’elle permet à une application verticale de facilement échanger et faire des requêtes au réseau 5G. Néanmoins, la valeur ajoutée de la Network App d’Immersion va un cran au-delà. En effet, elle inclut également un module permettant de suggérer à l’application verticale comment s’adapter à la qualité de service actuelle. Ainsi, si le réseau 5G est légèrement dégradé, la Network App pourra proposer d’interrompre temporairement la synchronisation des objets virtuels partagés entre les deux utilisateurs afin de réserver la bande passante disponible pour les flux audios et vidéos. En cas de sévère perturbation du réseau, seul l’audio restera actif jusqu’à ce que la qualité de service redevienne normale.

Les bénéfices de cette fonctionnalité de la Network App sont doubles. Tout d’abord, cela offre de la flexibilité au développeur de l’application verticale, qui est non seulement informé de l’état du réseau mais se voit également proposé des adaptations plus ou moins critiques. Ensuite, ces adaptations sont transparentes pour les utilisateurs finaux. Il n’y a pas besoin d’intervention de leur part, tout peut être automatisé pour s’adapter en douceur aux perturbations du réseau afin de conserver au maximum une collaboration efficace.

Réalisation : tests en condition réelles

EVOLVED-5G a été l’occasion idéale pour mener des tests en condition réelle avec un réseau 5G. Immersion s’est notamment rendue plusieurs fois sur le campus de Malaga afin de tester les performances de son application d’assistance à distance couplée à la Network App.

Pour cela, nous avons déjà dû investiguer sur comment connecter le casque Hololens 2 à un réseau 5G. Notre application avait besoin des aspects temps réels (Time Sensitive Networking ou TSN) qui nécessitent des infrastructures particulières. Par ailleurs, il fallait également que la Network App soit déployée sur l’infrastructure Kubernetes de l’université de Malaga. L’occasion pour l’équipe R&D de se frotter à des technologies comme Docker.

Les tests réalisés ont montré non seulement la faisabilité de notre approche, mais aussi sa pertinence. Bien qu’il soit nécessaire d’ajuster l’architecture de la partie TSN pour que l’Hololens puisse s’y connecter, les performances de la 5G ont été au rendez-vous pour notre application de RA.
Il ne restait alors plus qu’à passer les deux pipelines d’EVOLVED-5G (Validation et Certification) afin de proposer notre Network App sur la MarketPlace du projet.

Voici la vidéo sur le projet Evolved 5G [vidéo 1]

Retrouvez la vidéo au début du projet Evolved 5G [vidéo 2]

BONUS : Nous avons gagné un projet européen sur la 6G qui débutera en janvier 2024. Ce sera l’occasion pour nous de tester et de valider ses applications immersives dans différents types de services et de déploiements, soumis à diverses menaces et attaques.