Nous allons proc\u00e9der par \u00e9tapes. Dans un premier temps nous caract\u00e9riserons les diff\u00e9rents probl\u00e8mes \u00e0 r\u00e9soudre et envisagerons ensuite comment proc\u00e9der pour exp\u00e9rimenter une solution r\u00e9pondant \u00e0 toutes les exigences. Ensuite nous explorerons l’\u00e9tat de l’art dans ce domaine et regarderont attentivement ce qui se fait du c\u00f4t\u00e9 des MLOPS et si possible profiter du retour d’exp\u00e9rience des coll\u00e8gues du CC-IN2P3.<\/p>\n\n\n\n
Notion de s\u00e9curit\u00e9 : <\/p>\n\n\n\n
L’acc\u00e8s au frontal se fera via https et avec authentification locale ou par f\u00e9d\u00e9ration. Cela implique une solution certifi\u00e9e et accept\u00e9e par l’institution.<\/p>\n\n\n\n
L’acc\u00e8s aux ressources de calculs ne pourra en aucun \u00eatre fait directement par l’utilisateur<\/strong>. Celui-ci soumettra une requ\u00eate via l’interface web et la soumission se fera en mode asynchrone via un web service appari\u00e9 (token) au frontal. C’est le web service qui ira poster dans une liste de soumission la demande de l’utilisateur (kafka ou autre solutions de MOM).<\/p>\n\n\n\n Echange entre les diff\u00e9rents contexte : <\/p>\n\n\n\n Demande et Data associ\u00e9es<\/strong> : les \u00e9changes entre le frontal et les RC se feront via un web service. L’acc\u00e8s au WS sera conditionn\u00e9 par token (jwt) pour garantir l’exclusivit\u00e9 des acc\u00e8s aux frontaux autoris\u00e9s. Dans le cas de donn\u00e9es volumineuses diff\u00e9rentes solutions seront propos\u00e9es : soit un transfert direct sur un espace appropri\u00e9 associ\u00e9 au WS, soit un d\u00e9p\u00f4t sur un site tiers avec transfert de l’URL et de l’autorisation associ\u00e9 (donn\u00e9es sensibles).<\/p>\n\n\n\n Solveurs<\/strong> : les solveurs seront encapsul\u00e9s dans une image afin de garantir leur int\u00e9grit\u00e9 et fournir les d\u00e9pendances associ\u00e9es. Des circuits de validation de ces images seront \u00e0 pr\u00e9voir dans le contexte cible. Les images seront d\u00e9pos\u00e9es via un circuit interne sur un d\u00e9p\u00f4t certifi\u00e9, associ\u00e9 aux clusters. Les solveurs peuvent \u00e9voluer. le syst\u00e8me doit permettre de cumuler plusieurs versions d’un m\u00eame solveur et de d\u00e9terminer ceux \u00e0 utiliser.<\/p>\n\n\n\n Prototypage : <\/p>\n\n\n\n Contexte d’EMOLGINE <\/p>\n\n\n\n Nous souhaitons g\u00e9n\u00e9rer des mol\u00e9cules sp\u00e9cifiques \u00e0 un site d’une prot\u00e9ine \u00e0 l’aide d’un algorithme de “growing” et ce \u00e0 partir de diff\u00e9rents fragments. Pour ce faire , l’utilisateur doit pouvoir s\u00e9lectionner une prot\u00e9ine et d\u00e9finir le site \u00e0 partir d’une interface web. Apr\u00e8s \u00e9ventuellement la modification de certains param\u00e8tres propos\u00e9s par d\u00e9faut, il devra pouvoir soumettre un growing sur les ressources calculs. Pour cela, le traitement de growing sera pr\u00e9alablement encapsul\u00e9 dans une image. Le r\u00e9sultat de ce calcul sera ensuite directement d\u00e9pos\u00e9 dans un espace d\u00e9di\u00e9 pour \u00eatre ajout\u00e9 \u00e0 la base de donn\u00e9es Neo4J<\/span> de la plateforme. Param\u00e8tres par d\u00e9faut pouvant \u00eatre modifi\u00e9s:<\/p>\n\n\n\n Contexte IAML : <\/p>\n\n\n\n Dans le cadre de la plateforme IAML, la probl\u00e9matique sera plus complexe due au volume des donn\u00e9es \u00e0 d\u00e9placer pour le traitement. Pour cela des dispositifs classiques de upload dans des structures de base de donn\u00e9es de type NOSQL seront utilis\u00e9s. Pour les traitements, il faudra envisager des encapsulations automatiques des solveurs pour qu’ils soient ex\u00e9cut\u00e9s suite \u00e0 une demande de soumission.<\/p>\n\n\n\n Encapsulation : <\/p>\n\n\n\n Deux solutions d’encapsulation seront \u00e9tudi\u00e9es Podman et Singularity. Dans ces encapsulations il faudra pouvoir ex\u00e9cuter du code sur CPU ou GPU.<\/p>\n\n\n\n Deux m\u00e9thodes de mises en oeuvre :<\/p>\n\n\n\n Orchestrateur de type K8S : besoin d’une station de travail avec 4 VMs. Au sein de SPGoO on dispose d’un cluster K8S en version 1.30 disponible ainsi qu’un serveur de d\u00e9p\u00f4t pour les images …<\/p>\n\n\n\n Cluster — Slurm : \u00e0 mettre en oeuvre.<\/p>\n\n\n\n Architecture de tests de la proposition : <\/p>\n\n\n
Param\u00e8tres \u00e0 d\u00e9finir \u00e0 l’aide de l’interface web:<\/p>\n\n\n\n\n
\n
![\"\"](\"https:\/\/spgoo.org\/wp-content\/uploads\/2025\/03\/RCWS_emolgine-1024x566.jpg\")
<\/figure>\n<\/div>