Accéder aux données agrégées à partir d'un dump du hub national

L'accès aux données partagées sur le serveur de la FCBN étant parfois limité/limitant pour des raisons de qualité de la connexion, il est possible de faire à la FCBN une demande de dump de la base nationale pour en disposer en local (dans le cadre du réseau des CBN uniquement, à l'exclusion des données précises).

Cela a été fait pour le CBN de Bailleul en mars 2017.

Procédure d'installation

Création d'une bdd si_flore_national en local

CREATE DATABASE si_flore_national
  WITH OWNER = postgres
       ENCODING = 'UTF8'
       TABLESPACE = pg_default
       CONNECTION LIMIT = -1;

ALTER DATABASE si_flore_national
  SET search_path = "$user", public, topology;
GRANT CONNECT, TEMPORARY ON DATABASE si_flore_national TO public;
GRANT ALL ON DATABASE si_flore_national TO postgres;


CREATE SCHEMA ref;
CREATE SCHEMA agregation;
CREATE EXTENSION postgis;

Restauration à partir de backup totaux

Restauration du schéma ref (siflore_ref.backup);
Restauration du schéma agregation (siflore_agregation.backup);

On peut le faire directement sous pgadmin avec un clic droit sur la base de données (“restaurer”).

Restauration à partir de fichiers plats sql

--SOUS WINDOWS (en ligne de commande cmd)
cd c:\Program Files\PostgreSQL\9.2\bin
psql -U postgres  -p 5432 -d si_flore_national -c "CREATE EXTENSION postgis;"
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_agregation_table_observation.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_agregation_table_releve.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_agregation_table_releve_territoire.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_agregation_table_releve_acteur.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_agregation_table_entite_metadonnee.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_ref_table_taxref_et_autre.sql
psql -U postgres -p 5432 si_flore_national <"F:\dump_agregation_alexis_desse\schema_ref_table_geo.sql

Exploitation des données (au choix 1 ou 1bis)

0-CREATION DES FONCTIONS POUR LES LISTES DE TAXONS

--Ou alors charger l'intégrité des fonctions contenues sur cette page https://github.com/fedecbn/hub.sql/blob/master/hub.sql


--- Initiations de tables indispensables pour le fonctionement du hub
CREATE TABLE IF NOT EXISTS public.zz_log (lib_schema character varying,lib_table character varying,lib_champ character varying,typ_log character varying,lib_log character varying,nb_occurence character varying,date_log timestamp,user_log varchar);
CREATE TABLE IF NOT EXISTS public.bilan (uid integer NOT NULL,lib_cbn character varying,data_nb_releve integer,data_nb_observation integer,data_nb_taxon integer,taxa_nb_taxon integer,temp_data_nb_releve integer,temp_data_nb_observation integer,temp_data_nb_taxon integer,temp_taxa_nb_taxon integer,derniere_action character varying, date_derniere_action date,CONSTRAINT bilan_pkey PRIMARY KEY (uid));
DROP TABLE IF EXISTS twocol CASCADE;	CREATE TABLE public.twocol (col1 varchar, col2 varchar);
DROP TABLE IF EXISTS threecol CASCADE; CREATE TABLE public.threecol (col1 varchar, col2 varchar, col3 varchar);

---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
--- Nom : hub_import_taxon 
--- Description : Importer une liste de taxon dans un hub
---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION hub_import_taxon(libSchema varchar, path varchar, files varchar) RETURNS setof zz_log AS 
$BODY$
DECLARE out zz_log%rowtype;
BEGIN
--- Commande
CASE WHEN files <> '' THEN 
	EXECUTE 'TRUNCATE TABLE "'||libSchema||'".zz_log_liste_taxon; TRUNCATE TABLE "'||libSchema||'".zz_log_liste_taxon_et_infra;';
	EXECUTE 'COPY "'||libSchema||'".zz_log_liste_taxon FROM '''||path||files||''' HEADER CSV DELIMITER '';'' ENCODING ''UTF8'';';
	out.lib_log := files||' importé depuis '||path;
ELSE out.lib_log := 'Paramètre "files" incorrect'; END CASE;

--- Output&Log
out.lib_schema := libSchema;out.lib_champ := '-';out.lib_table := 'zz_log_liste_taxon';out.typ_log := 'hub_import_taxon';out.nb_occurence := 1; SELECT CURRENT_TIMESTAMP INTO out.date_log;out.user_log := current_user;PERFORM hub_log (libSchema, out);RETURN next out;
END; $BODY$  LANGUAGE plpgsql;

---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
--- Nom : hub_txinfra 
--- Description : Générer une table avec les taxon infra depuis la table zz_log_liste_taxon
---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION hub_txinfra(libSchema varchar, version_taxref integer = 7) RETURNS setof zz_log AS 
$BODY$
DECLARE out zz_log%rowtype;
DECLARE i varchar;
BEGIN
--- Commande
FOR i in EXECUTE 'select cd_ref from "'||libSchema||'".zz_log_liste_taxon' 
	LOOP  
	EXECUTE
		'INSERT INTO "'||libSchema||'".zz_log_liste_taxon_et_infra (cd_ref_demande, nom_valide_demande, cd_ref_cite, nom_complet_cite,cd_taxsup_cite,rang_cite)
		select '''||i||''' as cd_ref_demande, '''' as nom_valide_demande, foo.* from 
		(WITH RECURSIVE hierarchie(cd_nom,nom_complet, cd_taxsup, rang) AS (
		SELECT cd_nom, nom_complet, cd_taxsup, rang
		FROM ref.taxref_v'||version_taxref||' t1
		WHERE t1.cd_nom = '''||i||''' AND t1.cd_nom = t1.cd_ref
		UNION
		SELECT t2.cd_nom, t2.nom_complet, t2.cd_taxsup, t2.rang
		FROM ref.taxref_v'||version_taxref||' t2
		JOIN hierarchie h ON t2.cd_taxsup = h.cd_nom
		WHERE t2.cd_nom = t2.cd_ref
		) SELECT * FROM hierarchie) as foo';
	end loop;
EXECUTE 'update  "'||libSchema||'".zz_log_liste_taxon_et_infra set nom_valide_demande = nom_valide from "'||libSchema||'".zz_log_liste_taxon where zz_log_liste_taxon_et_infra.cd_ref_demande= zz_log_liste_taxon.cd_ref ' ;
out.lib_log := 'Liste de sous taxons générée';

--- Output&Log
out.lib_schema := libSchema;out.lib_champ := '-';out.lib_table := 'zz_log_liste_taxon_et_infra';out.typ_log := 'hub_txinfra';out.nb_occurence := 1; SELECT CURRENT_TIMESTAMP INTO out.date_log;out.user_log := current_user;PERFORM hub_log (libSchema, out);RETURN next out;
END; $BODY$  LANGUAGE plpgsql;

---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
--- Nom : hub_log
--- Description : ecrit les output dans le Log du schema et le log global
---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION hub_log (libSchema varchar, outp zz_log, action varchar = 'write') RETURNS void AS 
$BODY$ 
DECLARE exist integer;
BEGIN

/*ajout du user_log dans le zzlog*/
EXECUTE 'SELECT 1 FROM information_schema.columns WHERE table_schema = '''||libSchema||''' AND table_name = ''zz_log'' AND column_name = ''user_log'';' INTO exist;
CASE WHEN exist IS NULL THEN
	EXECUTE 'ALTER TABLE '||libSchema||'.zz_log add column user_log varchar;';
ELSE END CASE;

CASE WHEN action = 'write' THEN
	EXECUTE 'INSERT INTO "'||libSchema||'".zz_log (lib_schema,lib_table,lib_champ,typ_log,lib_log,nb_occurence,date_log,user_log) VALUES ('''||outp.lib_schema||''','''||outp.lib_table||''','''||outp.lib_champ||''','''||outp.typ_log||''','''||outp.lib_log||''','''||outp.nb_occurence||''','''||outp.date_log||''','''||outp.user_log||''');';
	CASE WHEN libSchema <> 'public' THEN EXECUTE 'INSERT INTO "public".zz_log (lib_schema,lib_table,lib_champ,typ_log,lib_log,nb_occurence,date_log,user_log) VALUES ('''||outp.lib_schema||''','''||outp.lib_table||''','''||outp.lib_champ||''','''||outp.typ_log||''','''||outp.lib_log||''','''||outp.nb_occurence||''','''||outp.date_log||''','''||outp.user_log||''');'; 
	ELSE PERFORM 1; END CASE;
WHEN action = 'clear' THEN
	EXECUTE 'TRUNCATE "'||libSchema||'".zz_log';
ELSE SELECT 1;
END CASE;
PERFORM hub_mail(outp.lib_schema,outp.typ_log,outp.date_log,outp.user_log);
END;$BODY$ LANGUAGE plpgsql;



---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
--- Nom : hub_mail
--- Description : Renseigne la table emailing_queue - infos transmises par mail à l'admin et aux cbn
---------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION hub_mail (libSchema varchar,action varchar,date_log timestamp with time zone,user_log name) RETURNS void AS 
$BODY$ 
BEGIN
CASE WHEN action = 'hub_export' OR action = 'hub_push' OR action = 'hub_connect' OR action = 'hub_publicate' OR action = 'hub_import' OR action = 'siflore_data_refresh' THEN 
	INSERT INTO emailing_queue (lib_schema, action, date_log, user_log) VALUES (libSchema,action,date_log,user_log);
ELSE END CASE;
END;$BODY$ LANGUAGE plpgsql;

1- EXTRACTION POUR SEULEMENT QUELQUES ESPECES

	--On vide les listes 
	TRUNCATE agregation.zz_log_liste_taxon;
	TRUNCATE agregation.zz_log_liste_taxon_et_infra;

	-- On recréé une liste de taxons pour lesquelles on veut des données
	INSERT INTO agregation.zz_log_liste_taxon (cd_ref,nom_valide) 
	select cd_ref, nom_valide from ref.taxref_v7 where cd_nom in ('85474','610664','95829','160257','103139','104805','106742','106748','610602','109141','446978','161449');

	--Construction de la liste des infra-taxons
	SELECT * FROM hub_txinfra('agregation',7);

1 bis-EXTRACTION à PARTIR D'UNE LISTE CSV

	--On vide les listes précédentes
	TRUNCATE agregation.zz_log_liste_taxon;
	TRUNCATE agregation.zz_log_liste_taxon_et_infra;

	----Import de la liste des taxons pour lesquelles on veut des données
	COPY agregation.zz_log_liste_taxon FROM 'F:\dump_agregation_alexis_desse\170323_liste_taxons_v7.csv' WITH csv header delimiter ';' encoding 'LATIN1';
	--ou alors (attention la fonction est en encodage UTF8', delimiter ';')
	-- select * from hub_import_taxon('agregation', '/home/export_pgsql/', '170323_liste_taxons_v7.csv')

	--- Construction de la liste des taxons et leurs infra taxons
	SELECT * FROM hub_txinfra('agregation',7);

2-DONNEES MANQUANTES?

---Vérification des taxons non présents dans taxref v7 et export de la liste de ces taxons dans un fichier texte
	COPY (
	SELECT toto.* FROM 
			(SELECT zz.cd_ref AS code_initial, zz.nom_valide AS nom_initial, tx.cd_nom AS cdnom_v7, tx.cd_ref AS cdref_v7, tx.nom_complet AS nom_complet_v7, tx.nom_valide AS nom_valide_v7 
			FROM ref.taxref_v7 AS tx 
			RIGHT JOIN agregation.zz_log_liste_taxon AS zz ON tx.cd_ref = zz.cd_ref
			WHERE tx.cd_ref is null) AS toto
		LEFT join agregation.zz_log_liste_taxon ls
		ON toto.code_initial= ls.cd_ref
		ORDER BY toto.nom_initial
	) TO 'F:\dump_agregation_alexis_desse\170323_liste_espece_non_taxrefv7.csv' WITH csv header delimiter ';' encoding 'LATIN1';

3-RECUPERATION DE TOUTES LES OBSERVATIONS POUR LA LISTE DEMANDEE

	---Récuperation des observations par maille 10 pour tous les taxons de la liste + infra (si par maille 5 alors typ_geo='m5', si par commune alors typ_geo='com'
	DROP TABLE IF EXISTS obs_maille10_taxons_demande ;
	CREATE TABLE obs_maille10_taxons_demande 
	AS
	SELECT t2.*, rel.date_debut, rel.date_fin
	FROM 
		(
		SELECT t1.cd_jdd, t1.cd_releve, t1.cd_obs_mere,tx.cd_ref_demande,tx.nom_valide_demande, t1.cd_ref,t1.nom_ent_ref, t1.cd_geo, t1.lib_geo 
		FROM 
			(SELECT obs.*, cd_geo, lib_geo
			FROM agregation.observation obs
			LEFT JOIN agregation.releve_territoire relt
			ON obs.cd_jdd=relt.cd_jdd AND obs.cd_releve=relt.cd_releve
			WHERE typ_geo='m10') t1 	
			JOIN agregation.zz_log_liste_taxon_et_infra tx
			ON t1.cd_ref = tx.cd_ref_cite
		) t2
	LEFT JOIN agregation.releve rel
	ON t2.cd_jdd=rel.cd_jdd AND t2.cd_releve=rel.cd_releve
	ORDER BY cd_ref_demande ASC;
	
	--remarque: si pour un seul taxon ajouter "WHERE cd_ref_demande = '102206'" avant le "order by"

4-CALCUL DE SYNTHESES POUR LA LISTE DEMANDEE

	--Nombre de mailles par taxon après 1990
	--A partir de la table des observations précédemment calculée faire:

	DROP TABLE IF EXISTS nbr_maille10_taxons_demande ;
	CREATE TABLE nbr_maille10_taxons_demande 
	AS
	SELECT cd_ref_demande,nom_valide_demande, count (distinct cd_geo)
	FROM obs_maille10_taxons_demande
	WHERE date_debut>'1989-12-31' and date_fin>'1989-12-31'
	GROUP BY cd_ref_demande,nom_valide_demande

	--Carte de répartition des taxons
	--A partir de la table des observations précédemment calculée faire:

	DROP TABLE IF EXISTS repartition_maille10_taxons_demande ;
	CREATE TABLE repartition_maille10_taxons_demande 
	AS
	SELECT cd_ref_demande,nom_valide_demande, cd_geo, max (date_fin), geom
	FROM obs_maille10_taxons_demande
	INNER JOIN ref.geo_maille10 on cd_geo=cd_sig
	WHERE date_debut>'1989-12-31' and date_fin>'1989-12-31'
	GROUP BY cd_ref_demande,nom_valide_demande, cd_geo, geom;

--      Pour voir le résultat
--	select * from repartition_maille10_taxons_demande;
--      Ou alors visualiser dans QGIS en utilisant un connecteur à la base de données postgis

	
	---Nombre d'observations par maille 10kmx10km toutes dates confondues

copy ( 
	SELECT i.nom_valide_demande, i.cd_ref_demande,e.cd_geo, count(a.cd_obs_mere) as nb_obs, min(z.date_debut) as date_debut_min, max(z.date_fin) as date_fin_max
	FROM agregation.observation a
	JOIN agregation.zz_log_liste_taxon_et_infra i on a.cd_ref = i.cd_ref_cite
	JOIN agregation.releve z ON a.cd_releve = z.cd_releve AND a.cd_jdd = z.cd_jdd
	JOIN agregation.releve_territoire e ON a.cd_releve = e.cd_releve AND a.cd_jdd = e.cd_jdd
	JOIN agregation.releve_acteur r ON a.cd_releve = r.cd_releve AND a.cd_jdd = r.cd_jdd
	WHERE typ_geo = 'm10'
	GROUP BY cd_geo, i.nom_valide_demande, i.cd_ref_demande)
	to  'F:\dump_agregation_alexis_desse\20170323_nbre_obs_par_maille10.csv' CSV HEADER DELIMITER ';' encoding 'UTF8';

	---Nombre d'observations par maille 5kmx5km toutes dates confondues

	copy ( 
	SELECT i.nom_valide_demande, i.cd_ref_demande,e.cd_geo, count(a.cd_obs_mere) as nb_obs, min(z.date_debut) as date_debut_min, max(z.date_fin) as date_fin_max
	FROM agregation.observation a
	JOIN agregation.zz_log_liste_taxon_et_infra i on a.cd_ref = i.cd_ref_cite
	JOIN agregation.releve z ON a.cd_releve = z.cd_releve AND a.cd_jdd = z.cd_jdd
	JOIN agregation.releve_territoire e ON a.cd_releve = e.cd_releve AND a.cd_jdd = e.cd_jdd
	JOIN agregation.releve_acteur r ON a.cd_releve = r.cd_releve AND a.cd_jdd = r.cd_jdd
	WHERE typ_geo = 'm5'
	GROUP BY cd_geo, i.nom_valide_demande, i.cd_ref_demande)
	to  'F:\dump_agregation_alexis_desse\20170323_nbre_obs_par_maille5.csv' CSV HEADER DELIMITER ';' encoding 'UTF8';