Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
les_standards_de_donnees [2016/09/28 14:31] thomas.milon@fcbn.fr [Téléchargement des Standards] |
les_standards_de_donnees [2022/03/07 12:00] (Version actuelle) |
| |
==== Historique ==== | ==== Historique ==== |
| {{ ::historique_data_taxa_syndata_syntaxa.png?direct&600 |}} |
| |
Le travail sur les formats standards de données est un travail de longue haleine qui a débuté en 2009. | Le travail sur les formats standards de données est un travail de longue haleine qui a débuté en 2009. |
Ce travail, décomposé en 4 domaines - [[formats_standards_de_donnees#fsd_data|DATA]], [[formats_standards_de_donnees#fsd_taxa|TAXA]], [[formats_standards_de_donnees#fsd_syndata|SYNDATA]], [[formats_standards_de_donnees#fsd_syntaxa|SYNTAXA]] - s'est concentré dans un premier temps sur le DATA. Une première version du FSD (Format Standard de Données) DATA a été proposé en juillet 2010 : | Ce travail, décomposé en 4 domaines - [[formats_standards_de_donnees#fsd_data|DATA]], [[formats_standards_de_donnees#fsd_taxa|TAXA]], [[formats_standards_de_donnees#fsd_syndata|SYNDATA]], [[formats_standards_de_donnees#fsd_syntaxa|SYNTAXA]] - s'est concentré dans un premier temps sur le DATA. Une première version du FSD (Format Standard de Données) DATA a été proposé en juillet 2010 : |
La perspective de travailler sur la partie SYNDATA et SYNTAXA, ainsi que la mise à jour des données DATA et TAXA ont ouvert la réflexion pour une mise en cohérence des FSD. De plus, la compatibilité avec le FSD SINP devait être recherché, FSD qui lui aussi était en cours d'évolution. | La perspective de travailler sur la partie SYNDATA et SYNTAXA, ainsi que la mise à jour des données DATA et TAXA ont ouvert la réflexion pour une mise en cohérence des FSD. De plus, la compatibilité avec le FSD SINP devait être recherché, FSD qui lui aussi était en cours d'évolution. |
| |
Il a été proposé alors une révision des FSD pour que ceux ci soit i) plus cohérent entre eux, ii) plus durable et iii) plus flexible afin de permettre des évolutions sans chambouler la totalité des modèles. Une première version d'un FSD TOTAL a été proposé : | Il a été proposé alors une révision des FSD pour que ceux ci soit i) plus cohérent entre eux, ii) plus durable et iii) plus flexible afin de permettre des évolutions sans chambouler la totalité des modèles. 3 objectifs ont piloté cette réflexion : L'homogénéisation des champs, "Vers un modèle sous la forme Entité – Attribut – Valeur", et "Vers un système emboîté". Une première version d'un FSD TOTAL a été proposé : |
* {{ ::fcbn_fsd_totalv0.6.xlsx |première version du FSD TOTAL}} | * {{ ::fcbn_fsd_totalv0.6.xlsx |première version du FSD TOTAL}} |
| |
Une procédure un peu plus carrée a alors été réalisée concernant les "Standards" de données : l'idée a été de définir un modèle conceptuel commun à tous les domaines d'échanges (data, taxa, syndata, syntaxa), un dictionnaire de données commun avec des champs transversaux qui puissent être utilisé dans les différents FSD, un modèle conceptuel pouvant être directement utilisé pour générer une base de données - permettant ainsi l’accueil des données au format standard, des FSD qui découle de tout cela, accompagné de vocabulaires contrôlé, discuté au sein du réseau. Tous ces éléments sont présentés sur ce wiki et ont vocation à évoluer. | Une procédure un peu plus carrée a alors été réalisée concernant les "Standards" de données : l'idée a été de définir un modèle conceptuel commun à tous les domaines d'échanges (data, taxa, syndata, syntaxa), un dictionnaire de données commun avec des champs transversaux qui puissent être utilisé dans les différents FSD, un modèle conceptuel pouvant être directement utilisé pour générer une base de données - permettant ainsi l’accueil des données au format standard, des FSD qui découle de tout cela, accompagné de vocabulaires contrôlé, discuté au sein du réseau. Tous ces éléments sont présentés sur ce wiki et ont vocation à évoluer. |
| |
La partie SYNTAXA a été développé par Anaïs de manière un peu indépendante à cette réflexion. Cependant, les éléments apporté sur ce sujet ont aujourd'hui trouvé leur place sur le wiki. | La partie SYNTAXA a été développé de manière un peu indépendante à cette réflexion dans le cadre du [[gt:gthabitats|GT Habitat]] (Programme CarHab, groupe méthodologie de la cartographie). Cependant, les éléments apportés à ce sujet ont aujourd'hui trouvés leur place sur le wiki. Un historique des différentes réunions se trouve [[gt:gthabitats#compte_rendus_de_reunions|ici]]. |
| |
==== Les différents chapitres ==== | ==== Les différents chapitres ==== |
Les vocabulaires contrôlés (ou listes de valeur) définissent les valeurs utilisables pour certains champs. Si ces champs ne sont pas renseignés avec une valeur issue de cette liste, le jeu de données sera considéré comme non conforme. ces vocabulaires contrôlés ont vocation a évoluer pour permettre au réseau de partager les données qu'ils souhaitent. Ces évolutions n'impacte pas les MCD et MPD (modèle conceptuel et modèle physiques) | Les vocabulaires contrôlés (ou listes de valeur) définissent les valeurs utilisables pour certains champs. Si ces champs ne sont pas renseignés avec une valeur issue de cette liste, le jeu de données sera considéré comme non conforme. ces vocabulaires contrôlés ont vocation a évoluer pour permettre au réseau de partager les données qu'ils souhaitent. Ces évolutions n'impacte pas les MCD et MPD (modèle conceptuel et modèle physiques) |
* Les [[formats_standards_de_donnees|formats standards de données]] | * Les [[formats_standards_de_donnees|formats standards de données]] |
Les formats standards de données décrivent la manière de partager les données selon un format spécifique. Il s'appuie sur les dictionnaire de données et défini un ordre particulier et des règles de renseignement spécifiques. Pour le moment, 3 formats sont disponibles : [[FSD META]], [[FSD DATA]], [[FSD TAXA]] | Les formats standards de données décrivent la manière de partager les données selon un format spécifique. Il s'appuie sur les dictionnaire de données et défini un ordre particulier et des règles de renseignement spécifiques. Pour le moment 4 formats sont disponibles : [[FSD META]], [[FSD DATA]], [[FSD TAXA]], [[:formats_standards_de_donnees#fsd_syntaxa|FSD SYNTAXA]] |
| * Les [[guides_methodologiques|Guides méthodologiques]] |
| Les guides méthodologiques s'attarde sur des points particuliers : production de l'identifiant permanent, rattachement géographique de données d'observations... |
| |
==== Évolutions à prévoir ==== | ==== Évolutions à prévoir ==== |
* homogénéisation avec le SYNTAXA | * homogénéisation avec le SYNTAXA |
Une homogénéisation de la conceptualisation des standards serait intéressant entre le SYNTAXA et le reste des standards (gestions des référentiels en dehors du MCD et MPD, homogénéisation de nomenclature des champs et passage par un dictionnaire de données). | Une homogénéisation de la conceptualisation des standards serait intéressant entre le SYNTAXA et le reste des standards (gestions des référentiels en dehors du MCD et MPD, homogénéisation de nomenclature des champs et passage par un dictionnaire de données). |
| * homogénéisation avec le SYNDATA |
| Mise à jour des Standards pour intégrer le [[:formats_standards_de_donnees#fsd_syndata|SYNDATA]] |
* Procédure d'évolution des standards | * Procédure d'évolution des standards |
Aujourd'hui, la procédure d'évolution des standards proposé pour l'évolution des standard n'a pas été validé par le réseau. Il reste à l'état de proposition et doit être discuté pour que le réseau se retrouve-là dedans. | Aujourd'hui, la procédure d'évolution des standards proposé pour l'évolution des standard n'a pas été validé par le réseau. Il reste à l'état de proposition et doit être discuté pour que le réseau se retrouve-là dedans. |
| |
===== Procédure d'évolution des standards ===== | |
Aucune procédure n'est encore en place mais il est temps d'en proposer une. En effet, afin d'éviter de gagner de temps en évitant de repartir à zero, de permettre de faire évoluer les outils et script de manière itérative et non brutale, il est nécessaire de partager une méthode de mise à jour des Standard avec les utilisateurs (= le réseau). | |
| |
La procédure proposée est la suivante : | |
- Les standards sont versionnés avec une fréquence de 6 mois (2 par ans), | |
- Les standards sont "gelés" entre 2 versions c'est à dire qu'ils ne connaissent aucune modification entre ces 2 versions, à l'exception des vocabulaires contrôlés dont l'évolution n'impacte que peu, | |
- Les demandes de modifications et points de discussion concernant le standard sont recensés sur le wiki sur la page [[proposition_evolution_standard|Propositions/évolutions standard]]. Toutes personne peut proposer des évolutions, à condition qu'elles soient i) personnalisées (qui fait la proposition) et ii) argumentées (texte qui accompagne la proposition d'évolution). Il est également possible de proposer une remise en question sans pour autant proposer une évolution concrète des standards. | |
- A l'occasion d'une GT SI FLORE/VEG, tous les 6 mois, les propositions d'évolution et questions sont débattus (les éléments concernant ces propositions sont figés 2 semaine avant le GT pour préparer les réflexions). Toutes propositions sont votés (acceptées, repoussées ou refusées) et le résultat de ces votes sont consignés dans un rapport d'évolutions | |
- Le rapport d'évolution est par le CODIR suivant le GT. Si certains éléments de ce rapport ne sont pas validé par le CODIR, il sont remis à l'ordre du jour du GT suivant. | |
==== Suivi des modification ==== | |
* [[Changement entre la version 3.1 et 3.2]] | |
* [[Changement entre la version 3.2 et la 3.3]] | |
| |
__Note admin sur le lien entre le Hub et le Codex__ : les standards (ddd,fsd,voca_ctrl) sont géré à travers le codex, rubrique "FSD". La fonction export_fsd(version varchar) permet l'export des standards sur le serveur (dossier /home/hub/00_ref et /home/hub/01_fsd) afin qu'ils soient utilisé par le hub. | |
| |
| |