Roland-Garros 2020 : Le « tennis augmenté » dans la télé de demain avec France Télévisions

Par Vincent Nalpas, Directeur Innovation Produits & Services - Jean-Paul Chevreux, Ingénieur Innovation - Yves-Marie Poirier, Ingénieur Innovation

France Télévisions choisit de nouveau Roland-Garros pour tester les innovations de la télévision du futur. Lors de cette édition automnale, France Télévisions, en partenariat avec la Fédération Française de Tennis, partage sa vision des usages de demain matérialisée par des expérimentations spectaculaires et inédites autour du « Tennis augmenté » au sein du RGLAB sur le site du tournoi international du 27 septembre au 11 octobre 2020.

RGLabillu

 

Pour cette édition 2020, France Télévisions a imaginé et conçu, avec des partenaires technologiques d’exception français et étrangers,  un dispositif ambitieux articulé autour de technologies et de fonctionnalités émergentes ou développées spécifiquement pour l’occasion. L’objectif de ces tests, grandeur nature, est d’imaginer la télé du futur et les usages numériques de demain, au service d’un téléspectateur toujours plus exigeant et technophile. L’infrastructure technique de très haut niveau de Roland-Garros, la profusion d’images et de formats qualitatifs et le savoir-faire incomparable des équipes techniques et de production de France Télévisions offrent un terrain de jeu propice à l’innovation et au développement de nouvelles fonctionnalités dont certaines pourraient être intégrées à nos futurs produits et services numériques.     

Pendant toute la quinzaine, France Télévisions va proposer d’explorer, à partir des images en direct du court Philippe-Chatrier, les thématiques suivantes :

- Augmenter l’interactivité : Rendre l’utilisateur acteur de son expérience de visionnage 

- Augmenter la réalité : Enrichir la vision de l’utilisateur avec la réalité augmentée 

- Augmenter la qualité : Revoir les images du passé en UHD grâce à l’intelligence artificielle

- Augmenter la vitesse : Tester la transmission et la diffusion de vidéos en 5G

Découvrez les innovations en vidéo

Augmenter l’interactivité : Prendre le contrôle de l’image… comme si vous y étiez !

 

A travers cette démonstration, nous souhaitons créer une nouvelle expérience encore plus immersive en proposant à l’utilisateur de choisir son angle de vue, parmi une sélection de caméras disponibles en plus du signal produit et réalisé par les équipes de France Télévisions.

Cette idée n’est pas nouvelle, et plusieurs essais non concluants ont déjà été réalisés par le passé, mais elle trouve aujourd’hui, dans cette démonstration, un niveau de qualité qui lui permet d’être particulièrement pertinente sur mobiles et sur téléviseurs.

Ainsi, à tout moment pendant le visionnage d’un match en live ou en replay, l’utilisateur peut décider de quitter l’image réalisée (proposée sur les chaînes de France Télévisions) pour afficher la caméra de son choix, tout en conservant le son du court commenté. La navigation entre les différentes caméras proposées se fait instantanément, sans latence ni perte de qualité.

Cette nouvelle expérience permet à l’utilisateur d’être maître de son programme et encore plus en immersion sur le court de tennis, comme s’il était présent sur place.

L'expérience se décline en trois versions :

  • Une version sur téléviseur
  • Une version mobile
  • La fusion des deux mondes avec le smartphone qui permet de changer les vues sur le téléviseur, et de tirer ainsi parti de ce deuxième écran qui nous accompagne même devant la télé.
Augmenter l'interactivité

Comment ça marche ?

Cette expérimentation a été rendue possible par l’addition du savoir-faire de plusieurs sociétés françaises et américaines qui ont développé ce prototype ensemble.

Ainsi, les flux du direct réalisé du court Philippe-Chatrier et du direct de trois caméras également présentes sur le Chatrier proposées par les équipes de production de France Télévisions, sont récupérés depuis le Nodal de FTV pour permettre à la société EasyTools de traiter les quatre flux afin de les désentrelacer, d’insérer les logos et de créer une mosaïque 4K parfaitement synchronisée. Cette mosaïque est ensuite encodée et packagée par le système de Cloud VOS d’Harmonic utilisant la technologie Xeon d’Intel. Le format délivré est en CMAF/DASH, faible latence, encodé en HEVC.

Le flux disponible en temps réel est alors diffusé via Wi-Fi sur les players multi-caméras développés par VisualOn pour les mobiles, tablettes et box Android.

Cette nouvelle façon de consommer le sport en direct devrait trouver son public. En effet, si les retours d’expérience sont positifs, cette nouvelle interface pourrait, grâce à ces tests, se retrouver rapidement proposée aux utilisateurs de nos applications lors de grands évènements sportifs ou culturels.

En mode Portrait

 

La consommation de vidéos sur mobile a explosé ces dernières années et continue de croître. De nombreuses plateformes, en particulier les réseaux sociaux, ont adapté leurs contenus vidéo à l’usage sur smartphone en mode portrait, certaines sont même exclusivement dédiées à ce format. France Télévisions propose d’expérimenter un lecteur vidéo vertical gyroscopique pour mobile pour tester le rendu…  

L’usage d’un téléphone en mode portrait présente plusieurs avantages en termes de confort et de simplicité d’utilisation, particulièrement en mobilité. Or la grande majorité des processus de réalisation du broadcast génèrent des contenus 16/9, adaptés aux téléviseurs et au mode paysage mais étant peu adaptés au visionnage en mode portrait. France Télévisions propose de concilier le monde du broadcast et de l’usage vertical du smartphone avec cette expérimentation, sans impacter les moyens de production.  

portrait

Ce lecteur vidéo, dont la maquette a été réalisée sous « Unity », un moteur 3D temps réel, permet de lire le flux vidéo d’un match de Roland-Garros filmé par une caméra classique en 16/9 dans un player 9/16. L’image 16/9 est recadrée pour utiliser la totalité de l’écran en mode portrait. L’utilisateur ne voit donc qu’une partie de l’image d’origine. Cependant en utilisant le gyroscope du téléphone, ou les contrôles tactiles, l’utilisateur peut déplacer le cadrage de l’image de gauche à droite afin de pouvoir suivre l’action qui l’intéresse. Il peut également zoomer ou dézoomer dans l’image. La démonstration propose aussi d’afficher l’écran du smartphone sur un téléviseur vertical pivotant Samsung « The Sero » pour profiter du player gyroscopique sur un grand écran. Tous les contenus télévisuels ne seront pas forcément adaptés à ce type de player mais, dans ce cas précis, le choix d’une caméra fixe située dans l’axe du court permet de profiter des matchs de Roland Garros confortablement et de n’importe où. 

A l’avenir, un player spécifique pourrait être développé pour être intégré à nos services mobiles. En complément, des algorithmes d’intelligence artificielle d’analyse d’image permettraient d’automatiser le recadrage en détectant, en temps réel, le meilleur point de vue pour le spectateur. 

 

 

Augmenter la réalité : Profiter de toutes les infos contextuelles d'un match en temps réel

 

TV connectée, web, smartphone… France Télévisions a toujours cherché à innover et à inventer les services de demain. Dans cette continuité, France Télévisions s’intéresse depuis quelques années à la Réalité Augmentée (RA) dont le marché connaît une croissance rapide qui va indéniablement changer la façon de consommer la télévision. Avec l’arrivée annoncée des premières lunettes RA véritablement grand public, nous croyons fermement au potentiel de cette technologie comme support d’information, d’éducation et de divertissement massif chez les spectateurs. C’est pourquoi France Télévisions propose cette année une expérience inédite de visionnage d’un match de Roland-Garros sur casque de réalité augmentée, préfigurant ce que sera l’avenir en matière de diffusion sportive.

augmenter la réalité

Ce dispositif permet de visualiser des informations en temps réel issues du court Philippe-Chatrier. Les lunettes de réalité augmentée Hololens 2 affichent le match en direct dans un player, et des visualisations 3D viennent enrichir l’expérience en affichant des données. Ces données, rafraichies en direct, offrent au spectateur occasionnel une meilleure appréhension de l’action sur le court, tandis que les amateurs aguerris pourront personnaliser les informations affichées pour pousser encore plus loin leur analyse du match. Les données live du match sont fournies par Hawk-Eye, les informations des joueurs par SMT et le flux vidéo live du court Philippe Chatrier est encodé et mis à disposition par EasyTools et Harmonic. Le tout est intégré en temps réel dans les lunettes grâce à l’application réalisée pour France Télévisions par Immersiv. Cette application a été développée sous Unity, moteur 3D temps réel à l’origine dédié au jeu vidéo mais très populaire pour la création d’applications de réalité mixte.

L'expérience RA permet au spectateur d’avoir accès, à tout moment, à des informations sur les joueurs, sans quitter le match des yeux. Ces informations comprennent des données générales (le nom, la nationalité, le classement du joueur), ainsi que des données sur l’historique du match lui-même (le nombre de services réussis, les fautes, le score). De plus, des visualisations 3D, en superposition à l’image, (trajectoire de la balle, sa vitesse, l’emplacement des fautes) permettent d’accompagner l’analyse du jeu sans jamais lâcher le direct. Enfin, l’application propose également de visualiser, sous la forme de heatmap, tous les endroits où la balle rebondit dans le carré de service, permettant ainsi d’apprécier la précision du service des joueurs et son évolution tout au long du match.

Grâce à ces outils, le spectateur contrôle sa propre expérience de match en choisissant les données à afficher. Dans un futur proche, les lunettes de RA complèteront voire remplaceront peut-être progressivement le smartphone et offriront l’accès à cette nouvelle expérience n’importe où et à tout moment. Tout reste à inventer en matière de RA et France Télévisions souhaite continuer d’être un acteur de cette transformation en poursuivant l’exploration des possibilités offertes par cette technologie.

 

 

Vidéo Augmenter la réalité

Augmenter la vitesse : Tester la transmission et la diffusion de vidéos en 5G

 

France Télévisions avait déjà réalisé l’an passé un premier test de diffusion en 5G d’un signal 8K produit en direct du court Philippe-Chatrier. Ce test, très riche en retour d’informations, nous avait permis d’appréhender les problématiques liées à ce nouveau réseau et à ses performances inédites annoncées.

Cette année, avec un peu plus de recul et une meilleure maitrise du réseau de bout en bout, nous avons donc naturellement décidé de poursuivre les tests sur des cas concrets d’utilisations en collaboration notre Partenaire Orange sur son réseau 5G.

Réception en 5G d’un flux 8K

Transmission vidéo en 5G :

Ce test consiste à utiliser le réseau 5G pour transmettre de la vidéo filmée en HD. Pour ce cas d’usage, nous avons réalisé des tests de transmission d’un flux vidéo tourné depuis une caméra de France Télévisions (Sony PM WX400), elle-même connectée au réseau 5G d’Orange par un émetteur DMNG 5G d’Aviwest Air 320 qui agrège 2 modems 5G internes pour doubler la bande passante. Le signal vidéo encodé par le module en direct (20 MB/S) est acheminé via le réseau 5G jusqu’au Nodal de France Télévisions où a été installé un module de réception IP 5G Stream Hub Aviwest. La qualité du réseau et la bonne couverture du Stade de Roland Garros en 5G nous ont permis de réaliser, avec succès, des tests à plusieurs endroits sélectionnés pour leur potentiel éditorial. Durant le tournoi, plusieurs directs ont été organisés sur la base de ce protocole de transmission.

Ces tests, qui se sont révélés concluants, vont maintenant se poursuivre sur la base de transmissions d’images en 4K et, dans la perspective des J.O. de Paris 2024, en 8K plus gourmandes en bande passante.

Réception en 5G d’une interface Multi-Caméra

Cette expérimentation menée en Partenariat avec Orange propose de choisir sa caméra par le biais d’une interface dédiée, développée par la société Vogo. L'interface a été proposée pendant la quinzaine sur les téléphones OPPO (Find X2 Pro) présents à Roland-Garros, via le réseau 5G d’Orange.

Pour ce test, la société Vogo a récupéré les flux produits par les équipes de Production de France Télévisions, encodés et packagés par sa VogoBox pour être poussés sur le réseau 5G d’Orange à destination des mobiles OPPO. Le Find X2 Pro est un mobile 5G d’Oppo sorti en Mars 2020 qui embarque un SoC Qualcomm Snapdragon 865 épaulé par 12 Go de RAM.

L’objet de ce test était de valider la bonne réception et la fluidité des images sur mobile via le réseau 5G dans la perspective d’une future offre de masse proposée in stadia.

Réception en 5G d’un flux 8K 360°

En 2018 France Télévisions avait eu l’occasion de tester, dans son RG Lab, les toutes premières caméras 8K fabriquées par le Japonais Sharp sur le court Philippe-Chatrier. En 2019, ces mêmes caméras nous ont permis de tester, en avant-première mondiale, la transmission d’images 8K Live en 5G.

Cette année, avec Orange et Idviu, les tests se portent sur la captation live et la transmission sur le réseau 5G d’images 4K et 8K en 360° afin d’en garantir la bonne qualité de transmission et de réception :

- Acquisition en 5G d’un flux vidéo 360° 4K ou 8K capté par la caméra au niveau de ces 2 positions

- Diffusion en 5G d’un flux vidéo 4K ou 8K depuis un serveur de streaming situé sur le Cloud vers un mobile 5G Oppo

Pour ce faire, la société Idviu a installé sur le court Suzanne-Lenglen deux caméras 360° (Modèle TBC) qui ont assuré la captation des matchs. 

Cette expérimentation a également permis à France Télévisions de tester la conversion des image 360° vers le format 16/9

Comment ça marche ?

Idviu récupère l'image 360° 8K venant du court Suzanne-Lenglen en 5G. Cette image est ensuite découpée en quatre flux 16/9 qui transitent par le Nodal de France Télévisions avant d’être renvoyés vers un car-régie. Ces mêmes flux sont alors intégrés au mélangeur du car pour être -potentiellement- mixés avec les images des autres sources en direct.

La 5G pour France Télévisions, ce sont aussi des tests de 5G Broadcast

Des tests de diffusion des chaines de France Télévisions en 5G Broadcast sur la bande UHF, sont menés avec la société Towercast à Paris et en banlieue. Cette technologie issue du monde des télécoms permet d’adresser les terminaux mobiles grâce à un flux de broadcast.  La 5G Broadcast est la promesse d'une expérience linéaire complémentaire, seamless et indépendante, qui s'appuie sur des points hauts broadcast. Ces tests seront également intensifiés pendant la quinzaine.

 

 

Augmenter la qualité : Profiter de l'IA pour améliorer l'image

Le fossé technologique

Ces 10 dernières années, un véritable décalage technologique s’est créé entre l’augmentation très rapide de la définition des écrans et celle, stagnante, des contenus que l’on regarde. Et le fossé se creuse, car s’il devient quasiment impossible de ne pas acheter une TV UHD sachant que les contenus UHD ne sont pas encore légion, les écrans UHD8K sont déjà là, prêts à envahir nos salons !  Les principales raisons sont simples, d’un côté les contenus UHD ne sont pas du tout majoritaires sur l’ensemble de la production vidéo passée et présente, et de l’autre les réseaux principaux de transmission n’ont pas la bande-passante suffisante pour l’UHD (la TNT pour ne citer qu’elle).

 

upscale

Algorithme de compression haute performance

A l’occasion de Roland-Garros, France Télévisions s’associe à Intel pour effectuer en première mondiale une transmission vidéo avec le dernier codec Open-Source « AV1 ». Ce codec, créé en 2018 par l’Alliance for Open Media, permet une réduction de plus 50% du débit nécessaire à qualité équivalente au « H.264 ». L’intérêt de cette démonstration est de montrer que l’écosystème technique arrive à maturité pour le déploiement de ce codec, faisant de lui un candidat crédible pour la diffusion de contenus de très haute définition jusqu’en 8K. Cette maturité est essentielle, car l’un des plus gros freins à son utilisation est la puissance de calcul nécessaire à l’encodage (pour le live) et le décodage sur le récepteur du téléspectateur (TV, mobile, PC, etc.). De ce fait, Intel démontre ici que leurs processeurs serveur Intel® Xeon® Platinum ont la puissance suffisante pour encoder logiciellement une vidéo live en AV1. D’autre part ils intègrent directement au cœur de leurs derniers processeurs grand public Intel® Core™ de 11ème génération, la capacité de décoder de l’AV1. La lecture est effectuée avec la dernière version du lecteur open source VLC qui tire pleinement parti de l’accélération matérielle intégrée aux processeurs.

Si à l’avenir, l’amélioration des codecs et l’augmentation de la bande-passante des réseaux permettront à tous de bénéficier de contenus en UHD (ou plus), qu’en est-il des anciens contenus SD et HD ?

L’évolution de l’upscaling

Comment un contenu est-il traité pour être affiché sur un écran dont la définition lui est 4 fois (voir 16 fois) supérieure ? Les contenus de définitions inférieures paraissent malheureusement flous, sur des écrans eux-mêmes toujours plus grands. C’est la conséquence d’un upscaling (mise à l’échelle : technique permettant d’augmenter la définition de la vidéo originale pour l’adapter à la définition supérieure de l’écran) mathématique basique. Pour schématiser, lorsque l'on passe d’une définition FullHD (1920px x 1080px) à une définition UHD (3840px x 2160px), il est nécessaire d’ajouter, entre 2 pixels, un nouveau pixel qui sera une moyenne des couleurs des 2 autres. Ces algorithmes basiques d’upscaling sont ceux que l’on trouve régulièrement dans les TV, et si certains offrent des résultats un peu meilleurs que d’autre, l’opération offre toujours un résultat peu satisfaisant.

Plusieurs solutions existent pour améliorer l’upscaling. France Télévisions a choisi de tester un algorithme d’upscaling développé par Pixop utilisant de l’Intelligence Artificielle (IA).

Le logiciel de Pixop permet d’augmenter la définition de l’image en accentuant et affinant les détails présents dans l’image, créant par la même occasion des détails crédibles qui n’étaient pas visibles à cause d’une définition trop faible. La société Pixop a développé un algorithme nommé PIXSR (Pixop Super Résolution) basé sur du machine learning (une branche de l’IA basée sur un réseau de neurones entrainé). Il permet, au travers de filtres complexes, de reconnaître différents éléments d’une image en basse définition pour être ensuite capable de les remplacer par des éléments similaires en meilleure définition. Pour cela, ils ont entrainé leur algorithme avec une quantité incroyable d’images en basse définition corrélées à leur version en haute définition, afin d’être capable d’apporter une réponse haute définition à un élément basse définition. L’algorithme ne peut pas inventer ce que l’élément était à l’origine mais il propose une réponse pertinente qui permet réellement de donner une impression de définition supérieure.

Des résultats impressionnants mais perfectibles

D’après nos différentes expérimentations, le résultat peut se montrer extrêmement impressionnant au point que l’on pourrait parfois penser que c’est un contenu nativement en très haute définition.

Toutefois le résultat varie en fonction du type d’élément à améliorer. L’algorithme fonctionne généralement bien sur les éléments communs comme les décors naturels, mais est moins performant sur les visages. De même son efficacité dépend directement de la qualité du contenu d’origine.

Pour conclure, l’expérimentation est particulièrement positive car elle ouvre des perspectives très intéressantes pour enrichir les offres de contenus UHD. À ce jour, cet uspcaling évolué ne peut pas encore être réalisé en temps réel dans nos TV car les algorithmes nécessitent une trop grande puissance de calcul. De plus ces algorithmes sont encore récents, et beaucoup d’améliorations sont attendues dans ce domaine dans les mois et années à venir.