Le pôle de données THEIA existe depuis plus de dix ans. THEIA est une alliance de dix organismes publics français visant à fédérer les efforts de recherche publique pour le suivi des surfaces continentales. Il fait partie de l'infrastructure de recherche Data Terra, qui regroupe les différents pôles de données environnementales (ODATIS, THEIA, FormaTerre, AERIS)

Le CNES contribue à THEIA afin de faciliter l'accès aux données spatiales pour le suivi des surfaces continentales. Le CNES y contribue à la fois par les activités de ses laboratoires de recherche, par la mise au point de nouveaux produits, par le développement de centres et de chaînes de traitement, et par la fourniture de plateformes de distribution de données.

Au cours de ces deux dernières années, le CNES a entièrement renouvelé les moyens de production et d'accès aux données pour les utilisateurs de THEIA. Ces changements ont pu perturber des habitudes, mais vont permettre de beaux progrès. Il est donc temps de faire le point sur la nouvelle infrastructure.

Nouvelle infrastructure de calcul et de données

Le CNES s'appuie fortement sur un centre de calcul nommé TREX doté de plus de 16 000 cœurs de calcul, et sur un grand espace de données, le datalake, doté de 35 PO sur disques et autant sur bandes. C'est là que sont stockées les données des satellites du CNES (VENµS, SWOT et bientôt TRISHNA) mais aussi celles du système d'observation Copernicus de l'Union européenne, pour lequel le CNES met à disposition les images issues de Sentinel-1 et Sentinel-2, et les données altimétriques de Sentinel-3 et Sentinel-6 sur le monde entier. C'est aussi dans ce datalake que nous stockons les données produites par le CNES pour THEIA ou pour Form@ter.

Volumes de données disponibles et prévus pour les données Copernicus et THEIA du datalake :

Nouveaux centres de production

Jusqu'ici, la contribution du CNES s'appuyait sur le centre de production MUSCATE, conçu il y a dix ans, qui était devenu bien lourd à exploiter au fur et à mesure de l'augmentation des demandes. Un nouveau centre de traitement a été déployé sur TREX pour améliorer nos capacités de production sans accroître le coût d'exploitation : c'est au centre de production Hespérides (le jardin des données) que s'écoulent des données pour l'hydrologie continentale et poussent les produits dédiés au suivi de la végétation. 

Ce centre utilise un orchestrateur, appelé Chronos, pour répartir les traitements sur les processeurs en fonction de l'arrivée des données. Les chaînes de traitement, qui sont encapsulées dans des conteneurs docker, incluent toutes les bibliothèques nécessaires au traitement. Hespérides dispose aussi d'un outil efficace de supervision de la production. Pour des raisons de performances, nous avons décidé de répartir Hespérides en plusieurs instances de production. L'une est dédiée à la production au fil de l'eau (dès que les données arrivent), une autre au retraitement massif (par exemple retraiter toutes les données Sentinel-2 sur l'Europe depuis 2015). Une autre pourrait-être réservée aux experts qui veulent tester une nouvelle version des chaînes ou des paramètres.

Nouvelles plateformes de distribution

Enfin, de nouvelles plateformes d'accès aux données d'observation de la terre ont été développées. La principale est GEODES qui fournit un accès à toutes les données d'observation de la terre produites ou disponibles au CNES. Elle donne accès au catalogue des données, à une interface de consultation de téléchargement, à des traitements à la demande, et à une API de téléchargement en python PyGeodes, avec outil en ligne de commande.

La deuxième plateforme, Hydroweb-next, distribue et présente les données liées à l'hydrologie continentale, et fournit notamment l'accès aux données SWOT.

Nouvelles chaînes et nouveaux produits

La production du centre de production Hespérides répond aux demandes des scientifiques français, qui peuvent soumettre des demandes à un appel à projets continu de THEIA. Grâce aux nouveaux matériels et aux nouveaux développements développés et opérés par le CNES pour THEIA et Data Terra, nos capacités de traitement ont largement augmenté, et il est devenu plus facile de mettre en production de nouvelles chaînes, même si cela nécessite du travail. Les produits actuellement en production dans THEIA sont présentés dans le tableau suivant (suivez les liens pour découvrir les chaînes de traitement). Quelques exemples de ces produits sont fournis à la fin de l'article.

Nous préparons également de nouveaux produits qui devraient apparaître dans les semaines ou les mois qui viennent.

Pour plus tard, des traitements à la demande apparaitront, notamment les outils de super-résolution de Sentinel-2. Ils seront accessibles depuis GEODES.

Enfin, grâce aux nouvelles capacités de production, un retraitement de toutes les données de Niveau 2A de Sentinel-2 a démarré au CNES, en commençant par la zone européenne, qui fait suite au retraitement de ces données par l'ESA pour améliorer leur superposition géométrique. Ce retraitement permet aussi de prendre en compte toutes les améliorations de la chaîne MAJA au fil des années (avec une meilleure résolution du masque de nuages, des progrès dans les corrections atmosphériques, et des corrections de bugs).

Rôle du Campus de la Donnée

Dans tout cet écosystème, le Campus de la Donnée du CNES joue un rôle important. Il assure la maîtrise d’œuvre du centres de traitement Hespérides, ainsi que des serveurs de distribution GEODES et Hydroweb-next, en liaison avec la Direction des systèmes Orbitaux et des Applications (DOA), qui gère les projets, et avec la Direction de la Stratégie (DS) du CNES.

C'est aussi le Campus de la Donnée qui pilote les opérations des différents centres de production et distribution, grâce au financement des projets GEODES et THEIA. Dans plusieurs cas, le campus développe et maintient en configuration opérationnelle les chaînes de traitement (avec le support de la sous-direction Traitements Performances Instruments). Enfin, les laboratoires associés au campus de la donnée (CESBIO, LEGOS, GET) contribuent fortement à la définition de plusieurs chaînes de traitement (MAJA, WASP, LIS, OBS2CO...).

Tous ces travaux s'appuient sur des laboratoires de recherche et des sociétés de services et de développement informatique du domaine spatial. Enfin, rien ne tournerait sans le formidable centre de calcul du CNES.

Rédacteurs et contributeurs

Olivier Hagolle, Bernard Specht, Johan Aussenac, Isabelle Soleilhavoup