Anomalies dans les données Klekoon

[ColinMaudry]

Après téléchargement, les anomalies suivantes ont été repérées dans les données. Elles seront cochées au fur et à mesure de leur résolution par Klekoon ou par un post-traitement :

• SIRET de titulaires (.titulaires.id) incorrects (trop courts) : voir marchés 2019000018520100, 2020000018997300, mais je pense que tous les marchés sont impactés
• beaucoup de marchés dont .acheteur.nom est "KLEKOON Compte entreprise". Le SIRET varie un peu, mais je ne trouve que 57 SIRET d'acheteur (.acheteur.id) différents dans l'ensemble des données.
• certains marchés ont un format de date incorrect : marché 2019000018651000, "08/08/2019 12:07" au lieu de "2019-08-08" (aaaa-mm-jj)
• valeurs normées incorrectement capitalisées : marché 2019000018651000, "ferme et actualisable" au lieu de "Ferme et actualisable", "marché" au lieu de "Marché", etc.

Toutes ces anomalies sont bloquantes pour l'intégration aux données consolidées.

cc @ungeric-klekoon

[ColinMaudry]

2 316 marchés ont été recensés, pour seulement 57 acheteurs (SIRET) uniques.

[ungeric-klekoon]

Merci pour le retour
On va s'occuper des anomalies

[ungeric-klekoon]

Bonjour Mr Maudry, 1. Nous pensons avoir corrigé les quatres problèmes listés. Pouvez-vous re-valider nos données ? 2. Vous pouvez maintenant faire http://data.klekoon.com/api/dcat/all/json ou http://data.klekoon.com/api/dcat/all/xml Ces deux liens permettent d'obtenir les données essentielles des trois derniers jours. (Dites-nous si vous préférez que l'on allonge ou raccourcit le délai par défaut) Enfin les liens permettant d'avoir toutes les publications sur un intervalle donné http://data.klekoon.com/api/dcat/all/xml/22-02-2020/25-02-2020 http://data.klekoon.com/api/dcat/all/json/22-02-2020/25-02-2020 N'hésitez pas à nous remonter vos commentaires. Très cordialement Eric UNG - Klekoon Le lun. 24 févr. 2020 à 20:57, Colin Maudry <notifications@github.com> a écrit :

…

Après téléchargement, les anomalies suivantes ont été repérées dans les données. Elles seront cochées au fur et à mesure de leur résolution par Klekoon ou par un post-traitement : - SIRET de titulaires (.titulaires.id) incorrects (trop courts) : voir marchés 2019000018520100, 2020000018997300, mais je pense que tous les marchés sont impactés - beaucoup de marchés dont .acheteur.nom est "KLEKOON Compte entreprise". Le SIRET varie un peu, mais je ne trouve que 57 SIRET d'acheteur (.acheteur.id) différents dans l'ensemble des données. - certains marchés ont un format de date incorrect : marché 2019000018651000, "08/08/2019 12:07" au lieu de "2019-08-08" (aaaa-mm-jj) - valeurs normées incorrectement capitalisées : marché 2019000018651000, "ferme et actualisable" au lieu de "Ferme et actualisable", "marché" au lieu de "Marché", etc. Toutes ces anomalies sont bloquantes pour l'intégration aux données consolidées. cc @ungeric-klekoon <https://github.com/ungeric-klekoon> — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#32>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AOUUDAGDZA736NXHUTXI3QLREQRB3ANCNFSM4K2QP65Q> .

-- Cordialement Eric UNG - Chef de projet Klekoon

[ColinMaudry]

Merci, je vais tester.

Pour les API liées à des dates, vous vous appuyez sur quelle valeur ? dateNotification ? datePublicationDonnees ?

[ColinMaudry]

Lorsque vous retournez plusieurs objets marchés, vous devez utiliser le schéma "paquet" : schéma et exemple.

De façon à avoir un array en vrai JSON 🙂

[ColinMaudry]

En fait il suffit d'envelopper les données actuelles dans

{
  "marches": [
    ...
  ]
}

Et en séparant les objets marchés avec des virgules, évidemment.

[ungeric-klekoon]

Bonjour " Pour les API liées à des dates, vous vous appuyez sur quelle valeur ? dateNotification ? datePublicationDonnees ? " Nous utilisons : *datePublicationDonnees*. Préférez-vous " dateNotification " ? Pour les autres points, on va s'en occuper. Eric Le lun. 2 mars 2020 à 19:31, Colin Maudry <notifications@github.com> a écrit :

…

En fait il suffit d'envelopper les données actuelles dans { "marches": [ ... ] } Et en séparent les objets marchés avec des virgules, évidemment. — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#32>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AOUUDAE7WULIZUSHOQTNCJ3RFP3Q7ANCNFSM4K2QP65Q> .

-- Cordialement Eric UNG - Chef de projet Klekoon

[ungeric-klekoon]

Bonjour,
Nous avons effectuer les corrections (finger crossed).
[2020_03_04_114535.zip]
(https://github.com/etalab/decp-rama/files/4286871/2020_03_04_114535.zip)
N'hésitez pas.
Cordialement
Eric

[ColinMaudry]

Très bien ! Il ne reste plus qu'à retirer les champs uid, et c'est bon.

Ce sont des champs qui sont alimentés au moment de l'agrégation des différentes sources de données : https://github.com/etalab/decp-rama/blob/master/scripts/package.sh#L21

[ungeric-klekoon]

C'est retiré ! Très cordialement Eric Le jeu. 5 mars 2020 à 11:05, Colin Maudry <notifications@github.com> a écrit :

…

Très bien ! Il ne reste plus qu'à retirer les champs uid, et c'est bon. — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#32>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AOUUDAA3NBXEASYFXBE4VZ3RF52PRANCNFSM4K2QP65Q> .

-- Cordialement Eric UNG - Chef de projet Klekoon

[ColinMaudry]

@ungeric-klekoon Y a t-il une documentation de l'API ? Je ne me souviens plus quelle était la meilleure manière de télécharger les données (http://data.klekoon.com/api/dcat/all/json ne retourne qu'un marché, pas l'ensemble des données). Merci !

[ungeric-klekoon]

Bonjour Mr Maudry,

Voici la documentation :

api/dcat/{format}/{id} ==> Récupère une DE (Données Essentielles) par son ID et un format (Json/XML)
api/dcat/all/{format}/{dateDebut}/{dateFin} ==> Récupère les DE sur un intervalle de temps par son format (Json/XML)
api/dcat/all/{format} ==> Récupère les 3 dernier jours de DE par son format (Json/XML)

N'hésitez pas à me solliciter

Très cordialement.
Eric