Déploiement de la plateforme de traitement des données phénotypage haut débit 4P sur l'infrastructure France Grilles

Le phenotypage haut-debit consiste a mesurer les caracteristiques des plantes a differentes echelles de temps et d'organisation. Le projet PHENOME-EMPHASIS [1], associant l’INRA, Arvalis et Terres-Inovia a pour ambition de developper des infrastructures de phenotypage haut-debit au niveau national. Un effort particulier a ete porte ces dernieres annees sur le developpement de systemes d’acquisitions de donnees (en particulier drone et phenomobile) permettant d’embarquer differents types de capteurs (cameras haute resolution RGB, multispectrales et infra-rouge thermique, LIDARs). L’ensemble de ces capteurs genere un volume important d’images, qu’il convient de traiter, stocker et archiver. Des modules de traitement prototypes sont crees au sein de l’UMT CAPTE [2] responsable du developpement des methodes et outils de phenotypage haut-debit au champ. Ils ont ete industrialises et integres dans la plateforme de traitement des donnees 4P (Plant Phenotyping Processing Platform). Certains modules embarquent des logiciels proprietaires (Matlab, Photoscan), d’autres necessitent des bibliotheques logicielles specifiques et peuvent s’executer sur des environnements heterogenes (Windows, Linux). La portabilite est donc un element crucial qui est assuree par l’encapsulation des modules dans des containeurs Docker. Ces modules peuvent etre enchaines dans des workflows que les utilisateurs creent selon leur besoin, a l’aide d’outils interactifs disponibles depuis une interface web developpee en Java. Une architecture de calcul distribue a ete mise en place afin d’executer ces workflows : elle s’appuie sur le moteur de traitements Cromwell [3] qui se charge d’executer les differents modules de maniere sequentielle ou parallelisee. Cromwell se charge de l'enchainement des modules mais ne permet pas de distribuer les traitements sur plusieurs machines. L’outil Docker Swarm permet de distribuer l’execution des conteneurs Docker sur plusieurs machines regroupees dans un cluster. Ce mode se base sur un ou plusieurs managers qui vont centraliser les demandes et les distribuer sur differents nœuds (machines sur lesquelles sont installees le service Docker). Concernant la persistance des donnees, les donnees brutes et les sorties des traitements sont stockees sur une architecture distribuee basee sur la technologie iRODS [4]. La plateforme 4P est connectee au systeme d’information PHIS (Phenotyping Hybrid Information System) [5]. Ce systeme d’information a pour objectif de stocker et d’organiser les donnees produites dans le cadre du projet PHENOME-EMPHASIS en appliquant les principes FAIR  (Findable, Accessible, Interoperable and Reusable). Cette connexion est faite dynamiquement grâce a l’utilisation de services web. La plateforme 4P est integree pleinement a l’infrastructure France Grilles [6]. C’est une infrastructure distribuee pour le calcul et le stockage de donnees scientifiques fournissant differents services aux utilisateurs notamment : - le service cloud FG-CLOUD qui permet de deployer des machines virtuelles a la demande ; - le service FG-IRODS qui fournit un stockage hautement disponible et personnalisable ; - le service FG-DIRAC qui permet de faire du calcul sur grille. Pour le deploiement de la plateforme 4P nous nous sommes appuyes sur le service FG-CLOUD pour la partie applicative et sur le service FG-IRODS pour la partie stockage persistant des donnees. Le poster detaillera les fonctionnalites offertes par la plateforme 4P, les technologies utilisees, l’infrastructure technique en particulier l’integration avec PHIS et France Grilles. References : [1] https://www.phenome-emphasis.fr/ [2] https://www6.paca.inra.fr/emmah/Programme-scientifique-et-Equipes/Equipe-CAPTE [3] https://github.com/broadinstitute/cromwell [4] https://irods.org/ [5] http://www.phis.inra.fr [6] http://www.france-grilles.fr