Intégration des données

Les données déposées sur la plateforme sont systématiquement transformées et stockées sur des espaces dédiés pour pouvoir être diffusées. Dans le cas des données archive, il n'y aucune modification des données, une simple copie sur le stockage pérenne. L'entité qui correspond à cette donnée pérenne est une donnée stockée.

Pour recopier la donnée livrée en donnée stockée, des traitements sont mis à disposition de l'entrepôt.

flowchart LR
    ds[(Donnée stockée)]

    subgraph liv[Livraison archive]
        direction TB
        fic1[/Fichier 1/]
        fic2[/Fichier 2/]
        fic3[/Fichier 3/]
    end

    subgraph tra[Traitement d'intégration]
        exe[Exécution du traitement]
    end

    liv ==> exe ==> ds

    classDef indiv fill:#eee,stroke:#ff8000,stroke-width:3px;
    classDef global fill:#fff,stroke:#3465a4,stroke-width:3px;

    class liv,exe,ds indiv
    class tra global

Consultation des traitements disponibles

/datastores/{datastore}/processings

Corps de réponse JSON

Consultation du traitement qui nous intéresse

Le détail sur un traitement permet de voir les types de données (livrées ou stockées) attendus en entrée, le type de donnée en sortie, les paramètres et les vérifications requises pour les livraisons en entrée.

/datastores/{datastore}/processings/af062611-13eb-4a18-8d04-9b7604a031cc

Corps de réponse JSON

{
    "name": "Recopie d'une archive livrée",
    "description": "Génération ou mise à jour d'une donnée stockée ARCHIVE à partir d'une archive livrées. Si un fichier livré existait déjà dans la donnée en sortie, celui ci va écraser l'ancienne version",
    "priority": "STANDARD",
    "input_types": {
        "upload": [
            "ARCHIVE"
        ],
        "stored_data": []
    },
    "output_type": {
        "stored_data": "ARCHIVE",
        "storage": [
            "S3"
        ]
    },
    "parameters": [],
    "_id": "af062611-13eb-4a18-8d04-9b7604a031cc",
    "required_checks": [
        {
            "name": "Vérification archive",
            "description": "Contrôle de l'absence de conflit dans le nommage des fichiers livrés",
            "_id": "bc052611-13eb-4a18-8d04-9b7604a031cc"
        },
        {
            "name": "Vérification standard",
            "description": "La vérification standard contrôle les signatures MD5 fournies",
            "_id": "bc012611-13eb-4a18-8d04-9b7604a031cc"
        }
    ]
}

Configuration d'une exécution de ce traitement

On distingue le traitement, ressource de la plateforme mise à disposition de l'entrepôt, et son exécution. Une exécution appartient à un entrepôt et a en entrée et en sortie des données spécifiques.

/datastores/{datastore}/processings/executions

Corps de requête JSONCorps de réponse JSON

{
    "processing": "af062611-13eb-4a18-8d04-9b7604a031cc",
    "inputs": {
        "upload": [
            "{upload}"
        ]
    },
    "output": {
        "stored_data": {
            "name": "Données départementales",
            "storage_tags": ["ARCHIVE"]
        }
    }
}

{
    "processing": {
        "name": "Recopie d'une archive livrée",
        "_id": "af062611-13eb-4a18-8d04-9b7604a031cc"
    },
    "status": "CREATED",
    "creation": "2023-07-03T18:21:07.051091271Z",
    "inputs": {
        "upload": [
            {
                "type": "ARCHIVE",
                "name": "Données départementales",
                "status": "CLOSED",
                "srs": "EPSG:2154",
                "_id": "{upload}"
            }
        ],
        "stored_data": []
    },
    "output": {
        "stored_data": {
            "name": "Données départementales",
            "type": "ARCHIVE",
            "status": "CREATED",
            "_id": "{stored data}"
        }
    },
    "parameters": {},
    "_id": "{execution}"
}

Déclenchement de cette exécution

/datastores/{datastore}/processings/executions/{execution}/launch

Consultation de l'état de l'exécution

Une exécution va avoir les statuts dans l'ordre suivant :

CREATED : créée mais non lancée
WAITING : lancée mais pas encore pris en charge par le cluster de calcul
PROGRESS : en cours d'exécution sur le cluster de calcul
SUCCESS ou FAILURE : terminé

/datastores/{datastore}/processings/executions/{execution}

Corps de réponse JSON

{
    "processing": {
        "name": "Recopie d'une archive livrée",
        "_id": "af062611-13eb-4a18-8d04-9b7604a031cc"
    },
    "status": "PROGRESS",
    "creation": "2023-07-03T18:21:07.051091Z",
    "launch": "2023-07-03T18:24:45.729741Z",
    "start": "2023-07-03T18:24:53.775580Z",
    "inputs": {
        "upload": [
            {
                "type": "ARCHIVE",
                "name": "Données départementales",
                "status": "CLOSED",
                "srs": "EPSG:2154",
                "_id": "{upload}"
            }
        ],
        "stored_data": []
    },
    "output": {
        "stored_data": {
            "name": "Données départementales",
            "type": "ARCHIVE",
            "status": "GENERATING",
            "_id": "{stored data}"
        }
    },
    "parameters": {},
    "_id": "{execution}"
}

Consultation de la donnée stockée en sortie

À la fin du traitement, des informations concernant la donnée finale sont remontées afin d'apparaître au niveau de l'API (taille, nombre de fichiers, système de coordonnées).

/datastores/{datastore}/stored_data/{stored data}

Corps de réponse JSON

{
    "name": "Données départementales",
    "type": "ARCHIVE",
    "visibility": "PRIVATE",
    "srs": "EPSG:2154",
    "contact": "contact@ign.fr",
    "last_event": {
        "title": "Génération",
        "date": "2023-07-03T18:24:45.712017",
        "initiator": {
            "last_name": "Lopper",
            "first_name": "Dave",
            "_id": "{user}"
        }
    },
    "tags": {},
    "storage": {
        "type": "S3",
        "labels": []
    },
    "size": 7786298,
    "status": "GENERATED",
    "_id": "{stored data}",
    "type_infos": {
        "files_number": 10
    }
}

Nettoyage de la livraison

Maintenant que la donnée a été stockée de manière pérenne, on peut supprimer la livraison et son contenu :

/datastores/{datastore}/uploads/{upload}