{"id":501,"date":"2024-06-17T10:31:42","date_gmt":"2024-06-17T08:31:42","guid":{"rendered":"https:\/\/spgoo.org\/?page_id=501"},"modified":"2025-12-22T14:33:32","modified_gmt":"2025-12-22T13:33:32","slug":"bdd-mongodb","status":"publish","type":"page","link":"https:\/\/spgoo.org\/?page_id=501","title":{"rendered":"BDD – Mongodb"},"content":{"rendered":"\n

Solution MongoDB<\/span> : NoSQL <\/h2>\n\n\n\n

Langage : javascript Type: Document <\/p>\n\n\n\n

Description du mod\u00e8le de document utilis\u00e9 dans les diff\u00e9rents projets <\/p>\n\n\n\n

DeepBDD : est une plateforme Dictionnaire d\u00e9di\u00e9e \u00e0 l’anglais contemporain. Elle regroupe les dictionnaires Anglais, Am\u00e9ricain et Australien pour offrir aux chercheurs des fonctionnalit\u00e9s de manipulation et d’extraction ainsi que des fonctionnalit\u00e9s d’enrichissement de ce gisement de donn\u00e9es. <\/p>\n\n\n\n

\n
\n

Mod\u00e8le XML<\/p>\n\n\n\n

    <Entry>\n            <Head>\n                    <HWD>Aarhus<\/HWD>\n            <\/Head>\n            <PronCodes>\n                    <PRON>\u02c8\u0254\u02d0 hu\u02d0s<\/PRON>\n                    <VARPRON>\u02c8\u0251\u02d0-, -h\u028as<\/VARPRON>\n                    <AMEPRON>\u02c8\u0254\u02d0r-<\/AMEPRON>\n                    <AMEVARPRON>\u02c8\u0251\u02d0r-<\/AMEVARPRON>\n            <\/PronCodes>\n            <DESC>\u2014Danish<\/DESC>\n            <WORD>\u00c5rhus <\/WORD>\n            <ForeignPron>\n                    <PronCodes>\n                            <PRON>\u02c8\u0254\u02d0 hu\u02d0\u0294s<\/PRON>\n                    <\/PronCodes>\n            <\/ForeignPron>\n    <\/Entry><\/code><\/pre>\n<\/div>\n\n\n\n
\n
Mod\u00e8le JSON – MongoDB<\/span><\/p>\n\n\n\n
{
    \"_id\" : ObjectId(\"6626177d4c56c07afaa398ff\"),
    \"Head\" : {
        \"HWD\" : \"Aarhus\",
        \"head_s\" : \"Aarhus\"
    },
    \"PronCodes_0\" : {
        \"PRON\" : \"\u02c8\u0254\u02d0 hu\u02d0s\",
        \"VARPRON\" : \"\u02c8\u0251\u02d0-, -h\u028as\",
        \"AMEPRON\" : \"\u02c8\u0254\u02d0r-\",
        \"AMEVARPRON\" : \"\u02c8\u0251\u02d0r-\"
    },
    \"DESC_0\" : \"\u2014Danish\",
    \"WORD0\" : \"\u00c5rhus \",
    \"ForeignPron\" : {
        \"PronCodes\" : {
            \"PRON\" : \"\u02c8\u0254\u02d0 hu\u02d0\u0294s\"
        },
        \"DESC\" : \"\",
        \"WORD\" : \"\u00c5rhus \"
    },
    \"ide_deepbdd\" : \"6a91f25c007d11efbfe2c96a2935a937\"
}  <\/pre>\n<\/div>\n<\/div>\n\n\n\n
Dans ce projet, les \u00e9l\u00e9ments provenant des fichiers XML sont structur\u00e9s de mani\u00e8res diff\u00e9rentes. De plus des adaptations ont \u00e9t\u00e9 prises pour conserver des informations associ\u00e9es \u00e0 l’\u00e9dition. Ces \u00e9l\u00e9ments rajout\u00e9s de type <lpdfont>, <TEXT> ….n’ont aucune utilit\u00e9 pour notre plateforme, et seront ainsi \u00e9limin\u00e9s par un pr\u00e9-traitement du fichier. Ce module de pr\u00e9traitement s’appuie en partie sur des biblioth\u00e8ques de manipulations de XML qui ont pr\u00e9sent\u00e9 des d\u00e9fauts d’interpr\u00e9tation des fichiers d’origine d\u00fb \u00e0 la structure m\u00eame des fichiers et \u00e0 l’usage de balise ne respectant pas les conventions XML. <\/p>\n\n\n\n
\n
\n
    <Entry>\n            <Head>\n                    <HWD>Aberdeen<\/HWD>\n            <\/Head>\n            <DESC>place in Scotland<\/DESC>\n            <PronCodes>\n                    <PRON>\u02cc\u00e6b \u0259 \u02c8di\u02d0n<\/PRON>\n                    <AMEPRON>\n                            <TEXT>-<\/TEXT>\n                            <sup>\u0259<\/sup>\n                            <TEXT>r-<\/TEXT>\n                    <\/AMEPRON>\n            <\/PronCodes>\n            <DESC>\u2014but places in the US are<\/DESC>\n            <PronCodes>\n                    <PRON>\u02c8\u2022\u2022\u2022<\/PRON>\n            <\/PronCodes>\n            <Derivative>\n                    <DERIV>~shire<\/DERIV>\n                    <PronCodes>\n                            <PRON>\u0283\u0259<\/PRON>\n                            <VARPRON>\n                                    <TEXT>-\u0283\u026a\u0259, \u00a7-\u0283a<\/TEXT>\n                                    <i>\u026a<\/i>\n                                    <TEXT>\u203f\u0259<\/TEXT>\n                            <\/VARPRON>\n                            <AMEPRON>\u0283\u026ar<\/AMEPRON>\n                            <AMEVARPRON>\n                                    <TEXT>-\u0283<\/TEXT>\n                                    <sup>\u0259<\/sup>\n                                    <TEXT>r<\/TEXT>\n                            <\/AMEVARPRON>\n                    <\/PronCodes>\n            <\/Derivative>\n    <\/Entry><\/code><\/pre>\n<\/div>\n\n\n\n
\n
{\n    \"_id\" : ObjectId(\"6626177d4c56c07afaa39904\"),\n    \"Head\" : {\n        \"HWD\" : \"Aberdeen\",\n        \"head_s\" : \"Aberdeen\"\n    },\n    \"DESC_0\" : \"place in Scotland\",\n    \"PronCodes_0\" : {\n        \"PRON\" : \"\u02cc\u00e6b \u0259 \u02c8di\u02d0n\",\n        \"AMEPRON\" : \"-[sup]\u0259[\/sup]r-\"\n    },\n    \"DESC_1\" : \"\u2014but places in the US are\",\n    \"PronCodes_1\" : {\n        \"PRON\" : \"\u02c8\u2022\u2022\u2022\",\n        \"AMEPRON\" : \"\u02c8\u2022\u2022\u2022\"\n    },\n    \"Derivative\" : [ \n        {\n            \"DERIV\" : \"~shire\",\n            \"PronCodes\" : {\n                \"PRON\" : \"\u0283\u0259\",\n                \"VARPRON\" : \"-\u0283\u026a\u0259, \u00a7-\u0283a[i]\u026a[\/i]\u203f\u0259\",\n                \"AMEPRON\" : \"\u0283\u026ar\",\n                \"AMEVARPRON\" : \"-\u0283[sup]\u0259[\/sup]r\"\n            }\n        }\n    ],\n    \"ide_deepbdd\" : \"6a938d9c007d11efbfe2c96a2935a937\"\n}\n<\/pre>\n<\/div>\n<\/div>\n\n\n\n
Utilisations avanc\u00e9es Bucket et facet :<\/p>\n\n\n\n
Buckets<\/strong> : l’instruction bucket permet de faire des agr\u00e9gations rapides sur une collection pour connaitre rapidement la distribution selon une grandeur.La distribution peut \u00eatre fix\u00e9e ou d\u00e9finie de fa\u00e7on automatique avec bucketAuto. <\/p>\n\n\n\n
Deux illustrations  de cette m\u00e9thode sur les documents de la plateforme Emolgine. <\/p>\n\n\n\n
db.getCollection('D_G-5HT7').aggregate({$bucket:{groupBy:\"$minimizedAffinity\",boundaries:[-14,-9,-8,-6],default:\"other\",output:{nb:{$sum:1}}}})<\/code><\/pre>\n\n\n\n
{ “_id” : -14, “nb” : 56321<\/strong> }
{ “_id” : -9, “nb” : 45969 }
{ “_id” : -8, “nb” : 87741 }
{ “_id” : “other”, “nb” : 23 }<\/p>\n\n\n\n
Instruction \u00e9quivalente pour v\u00e9rifier l’intervalle et les valeurs : <\/p>\n\n\n\n
db.getCollection('D_G-5HT7').find({$and:[{\"minimizedAffinity\":{$gt:-14}},{\"minimizedAffinity\":{$lt:-9}}]}).count()  ==>  56321<\/strong><\/code><\/pre>\n\n\n\n
\ndb.getCollection('D_G-5HT7').aggregate({$bucketAuto:groupBy:\"$sascore\",buckets:5,granularity:\"R20\",output:{nb:{$sum:1}}}})<\/code><\/pre>\n\n\n\n
{ “_id” : { “min” : 0.9, “max” : 3.15 }, “nb” : 45375 }
{ “_id” : { “min” : 3.15, “max” : 4 }, “nb” : 59856 }
{ “_id” : { “min” : 4, “max” : 4.5 }, “nb” : 40294 }
{ “_id” : { “min” : 4.5, “max” : 5.6000000000000005 }, “nb” : 41634 }
{ “_id” : { “min” : 5.6000000000000005, “max” : 8 }, “nb” : 2895 }<\/p>\n\n\n\n
Facets<\/strong>: <\/p>\n\n\n\n
db.getCollection('D_G-5HT7').aggregate([{$facet:{\"efficiency\":[{$bucketAuto:{groupBy:\"$minimizedAffinity\",buckets:4,output:{\"eff\":{$sum:1}}}}],\"affinity\":[{$bucketAuto:{groupBy:\"$efficiency\",buckets:4}}]}}])<\/code><\/pre>\n\n\n\n
{ “efficiency” : [ { “_id” : { “min” : -14.78564, “max” : -9.21796 }, “eff” : 47514 }, { “_id” : { “min” : -9.21796, “max” : -8.14746 }, “eff” : 47515 }, { “_id” : { “min” : -8.14746, “max” : -7.17637 }, “eff” : 47514 }, { “_id” : { “min” : -7.17637, “max” : -6.00007 }, “eff” : 47511 } ], “affinity” : [ { “_id” : { “min” : -0.69, “max” : -0.43 }, “count” : 51772 }, { “_id” : { “min” : -0.43, “max” : -0.39 }, “count” : 47604 }, { “_id” : { “min” : -0.39, “max” : -0.35 }, “count” : 48887 }, { “_id” : { “min” : -0.35, “max” : -0.25 }, “count” : 41791 } ] }<\/p>\n\n\n\n
Description des requ\u00eates d’extraction dans les diff\u00e9rents projets <\/p>\n\n\n\n
Illustrations de requ\u00eates selon diff\u00e9rents sch\u00e9mas de donn\u00e9es (document) avec l’interpr\u00e9tation de fields de type tableau (links) dans la structure de document des mol\u00e9cules : <\/p>\n\n\n\n
Recherche des mol\u00e9cules ayant 6 liens vers la chimioth\u00e8que. <\/p>\n\n\n\n
db.getCollection('D_G-5HT7').aggregate([{$match:{\"links.Chimiotheque\":{$ne:null}}},{$project:{_id:\"$inchikey\",\"size\":{$size:\"$links.Chimiotheque\"}}},{$match:{\"size\":{$eq:6}}}])<\/code><\/pre>\n\n\n\n
Int\u00e9gration de ces requ\u00eates dans Spring Boot : <\/p>\n\n\n\n
Les requ\u00eates int\u00e9gr\u00e9es dans un web service sous Spring Boot. <\/p>\n\n\n\n
Constitution d’une requ\u00eate  pour extraire les \u00e9l\u00e9ments selon des crit\u00e8res compos\u00e9s par l’utilisateur. Dans le module d’exploitation des mol\u00e9cules, l’interface autorise l’utilisateur \u00e0 pr\u00e9ciser les intervalles de s\u00e9lection des mol\u00e9cules selon les diff\u00e9rentes grandeurs possibles: <\/p>\n\n\n\n
\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n<\/div>\n\n\n\n
Comment impl\u00e9menter ces filtres du c\u00f4t\u00e9 web service ? <\/p>\n\n\n\n
On passe en mode json l’ensemble de la s\u00e9lection effectu\u00e9e par l’utilisateur . <\/p>\n\n\n\n
{“parametres”:”{“clogP”:{“min”:”0.00″,”max”:”5.00″},”nHA”:{“min”:”0″,”max”:”10″},”nHD”:{“min”:”0″,”max”:”5″},”MW”:{“min”:”0.00″,”max”:”500.00″}}”}<\/p>\n\n\n\n
@RequestMapping(value = \"\/find_inter_ambinter\", method = POST)\npublic Map<String,List<MoleculeAmbinter>> find_inter_ambinter(@RequestBody Map<String, Map<String,Map<String, String>>>body) {\n    final Map<String, Map<String, String>> collection = body.get(\"parametres\");\n    String Coll = \"D_S_Ambinter_5HT7\";\n    List<AggregationOperation> liste_op=new ArrayList<AggregationOperation>();\n    collection.keySet().forEach(elem -> {\n        float fmin = Float.parseFloat(collection.get(elem).get(\"min\"));\n        float fmax = Float.parseFloat(collection.get(elem).get(\"max\"));\n        liste_op.add(Aggregation.match(new Criteria(elem).gt(fmin).lt(fmax)));\n    });\n    Map<String, List<MoleculeAmbinter>> liste_trouves = find_ambinter_5HT7(liste_op);\n    return liste_trouves;\n}<\/code><\/pre>\n\n\n\n
On compose l’ensemble de la requ\u00eate dans la fonction suivante et on ex\u00e9cute l’appel \u00e0 MongoDB<\/span> <\/p>\n\n\n\n
public Map<String, List<MoleculeAmbinter>> find_ambinter_5HT7(List<AggregationOperation> liste_op) {\n    Map<String, List<MoleculeAmbinter>> liste_trouves = new HashMap<>();    \n    \/\/ uniquement en lien avec la Chembl\n    List<AggregationOperation> liste_op_temp=new ArrayList<AggregationOperation>();\n    liste_op.forEach(op-> {\n        liste_op_temp.add(op);\n    });\n    AggregationOperation matchPost1 = Aggregation.match(new Criteria(\"links.Chembl\").exists(true));\n    AggregationOperation matchPost2 = Aggregation.match(new Criteria(\"links.Chimiotheque\").exists(false));\n    AggregationOperation projectStage = Aggregation.project(MoleculeAmbinter.class)\n         .and(ArrayOperators.Size.lengthOfArray(\"links.Chembl\")).as(\"sizeChembl\")\n         .andExclude(\"_id\");\n    AggregationOperation matchPre1 = Aggregation.match(new Criteria(\"sizeChembl\").gt(0));\n    AggregationOperation matchPre2 = null;\n    liste_op_temp.add(matchPost1);\n    liste_op_temp.add(matchPost2);\n    liste_op_temp.add( projectStage);\n    liste_op_temp.add(matchPre1);\n    Aggregation aggregation = Aggregation.newAggregation(liste_op_temp);        \n    AggregationResults<MoleculeAmbinter> output = mongoTemplate.aggregate(aggregation, \"D_S_Ambinter_5HT7\",\n            MoleculeAmbinter.class);\n    List<MoleculeAmbinter> result = output.getMappedResults();\n    liste_trouves.put(\"spgoo_chembl\", result);\n    return liste_trouves;\n}<\/code><\/pre>\n\n\n\n
Pour obtenir le r\u00e9sultat suivant :<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
DeepBDD – D\u00e9cembre 2025 : <\/p>\n\n\n\n
Transfert et int\u00e9gration des diff\u00e9rentes collections corrig\u00e9es et compl\u00e9t\u00e9es par JMF dans le cadre de deepBdd-Bddictionnairique <\/p>\n\n\n\n
Les instructions sous MongoDB<\/span> pour effectuer ce type de copie sont les suivantes: <\/p>\n\n\n\n
db.collection1.find().forEach(function(x) {db.cons2025Finale.insert(x);})<\/code><\/pre>\n\n\n\n
Ce proc\u00e9d\u00e9 permet de copier avec l’id les \u00e9l\u00e9ments d’une collection \u00e0 une autre de fa\u00e7on int\u00e9grale, ce qui \u00e9vite de dupliquer certains \u00e9l\u00e9ments dans le cas o\u00f9 des requ\u00eates auraient des intersections non nulles. <\/p>\n\n\n\n
Pour le d\u00e9tail de cette op\u00e9ration voir la CDA-DeepBdd <\/p>\n\n\n\n
Passy – DPFV D\u00e9cembre 2025 : <\/p>\n\n\n\n
Dans le cadre de Passy, il a fallu d\u00e9velopper du c\u00f4t\u00e9 du web service une fonction d’extraction des segments situ\u00e9s avant et apr\u00e8s un segment sp\u00e9cifique. Pour ce faire, nous avons rajout\u00e9  l’ensemble des segments des enregistrements de type TRAITEMENT d’ESLO. D\u00e9velopper une fonction d’extraction qui s’appuie sur les attributs DEBUT et FIN de la collection. La fonction \u00e9quivalente sous MongoDB<\/span> est : <\/p>\n\n\n\n
db.getCollection(\u2018eslo2\u2019).aggregate([{\u201c$addFields\u201d:{nouv:{$toDouble:\u201d$debut\u201d}}},{$match:{$and:[{$expr:{$gt:[\u201c$nouv\u201d,280.261]}},{$expr:{$lt:[\u201c$nouv\u201d,301.261]}},{\u201cenreg\u201d:\u201dESLO2_ENT_1010_C\u201d}]}}])<\/p>\n\n\n\n
Ce qui nous donne le code suivant dans Spring Boot : <\/p>\n\n\n\n
\t\t\/\/ chercher les segments avant et apr\u00e8s celui courant\n\t\t\/\/ on va prendre le debut -10 et la fin + 10 \n\t\t\/\/ db.getCollection('eslo2').aggregate([{\"$addFields\":{yvan:{$toDouble:\"$debut\"}}},{$match:{$and:[{$expr:{$gt:[\"$yvan\",280.261]}},{$expr:{$lt:[\"$yvan\",301.261]}},{\"enreg\":\"ESLO2_ENT_1010_C\"}]}}])\t\t\n\t\t@RequestMapping(value = \"\/get_avant_\", method = POST)\n\t\t@PostMapping(\"json\")\n\t\tpublic List<Proposition_IA> get_avant_(@RequestBody Map<String, String> body) {\n\t\t\tString locuteur = body.get(\"locuteur\");\n\t\t\tdouble debut= Double.parseDouble(body.get(\"debut\"));\n\t\t\tdouble fin=  Double.parseDouble(body.get(\"fin\"));\n\t\t\tString enreg=  body.get(\"enreg\");\n\t\t\tSystem.out.println(\"get_avant_: \"+locuteur +\"  \" + debut +  \"  \" +fin +\" \" + enreg );\n\t\t\t\n\t\t\tAddFieldsOperation Addfield = Aggregation.addFields().addField(\"yvan\").withValue(ConvertOperators.ToDouble.toDouble(\"$debut\")).build();\n\t\t\t\/\/ avant \n\t\t\tCriteria critres = new Criteria().andOperator(\n\t\t\t\t\tCriteria.where(\"yvan\").lt(debut),\n\t\t\t\t\tCriteria.where(\"yvan\").gt(debut-10),\n\t\t\t\t\tCriteria.where(\"enreg\").regex(enreg));\n\t\n\t\t\tMatchOperation matchStage = Aggregation.match(critres);\n\t\t\tAggregation aggregation = Aggregation.newAggregation(Addfield, matchStage);\n\t\t\tAggregationResults<Proposition_IA> output_avant = mongoTemplate.aggregate(aggregation, \"eslo2\", Proposition_IA.class);\n\t\t\tList<Proposition_IA> avant_result = output_avant.getMappedResults();\n\t\t\tSystem.out.println(avant_result);\n\t\t\treturn avant_result;\n\t\t}\t<\/code><\/pre>\n