ArcGIS Solutions for Utilities : la voie avec les outils de chargement de données

Découvrez une méthode innovante de gestion des données sur les services publics avec ArcGIS Solutions. Travaillons ensemble pour libérer le potentiel de la solution de gestion des données sur les eaux pluviales. Dans la première partie, nous nous concentrerons sur l’étape essentielle qui consiste à charger sans effort des données dans les couches d’entités de la solution à l’aide des outils de chargement de données, un joyau caché dans ArcGIS Solutions.

Naviguer dans les méandres de la gestion de données issues de services publics peut s’avérer un défi de taille. Dans le vaste domaine de la gestion des services publics, ArcGIS Solutions change la donne. Il transforme ArcGIS en un système dynamique qui permet aux organisations de se livrer sans efforts à des travaux de cartographie, d’édition et de collaboration liés aux actifs. ArcGIS Solutions harmonise l’expérience d’utilisation du personnel sur le terrain et au bureau, en fournissant des cartes et des tableaux de bord interactifs. Chaque service public présente des besoins uniques, que ce soit dans les domaines des eaux pluviales, des communications, de l’électricité, du gaz, et j’en passe. L’équipe affectée à ArcGIS Solutions a donc travaillé avec des experts sectoriels à concevoir des modèles et des applications de données particulières pour vous aider à gérer et à modifier vos renseignements. Cette série s’appuie sur un cas d’utilisation concernant les eaux pluviales à Victoria, en Colombie-Britannique. Elle se veut un guide complet, démontrant comment les solutions ArcGIS Solutions peuvent être exploitées pour surmonter les défis de la gestion des données de service public. Bien que les eaux pluviales soient à l’honneur, les principes explorés sont universellement applicables, ce qui fait de cette série une ressource précieuse pour tout service public cherchant à améliorer la gestion des données. Joignez-vous à nous pour la première partie de ce voyage d’exploration de la puissance d’ArcGIS Solutions, dont la première escale sera le processus de chargement des données.

Premiers pas dans la solution de gestion des données sur les eaux pluviales :

Pour commencer, nous porterons notre attention sur la première étape essentielle de tout flux de travaux ArcGIS Solutions : le chargement des données. Même si ArcGIS Solutions simplifie la configuration des applications, le chargement de vos données dans les solutions offertes peut devenir très compliqué. Déployons la solution de gestion des données sur les eaux pluviales et voyons avec quoi nous travaillons. 

* Notez que cette solution diffère de la solution de fondement de réseau public d’eaux pluviales, qui décrit la mise en œuvre d’un modèle Utility Network de données de réseau de service public.

Une fois qu’une solution est déployée, nous pouvons voir de nombreux composants : des groupes, un paquetage ArcGIS Pro, plusieurs applications web, etc. Ne vous laissez pas submerger par le contenu. Une fois que nous aurons terminé notre première étape, un grand nombre de ces couches, cartes et applications seront injectées en une seule couche d’entité hébergée que nous appellerons StormwaterSystem (systèmes d’eaux pluviales).

La couche d’entité StormwaterSystem contient plusieurs couches et tables. L’équipe ArcGIS Solutions nous a fourni un dictionnaire de données sur la page Configurer la gestion des données sur les eaux pluviales afin de mieux nous faire comprendre tout ce qui est inclus. Ce dictionnaire montre que la solution contient 13 couches, 4 tables, 8 relations et 52 domaines; il se passe beaucoup de choses dans ces données. Lorsque le dictionnaire de données est comparé aux entités téléchargées à partir du portail de données ouvertes de la Ville de Victoria, une différence s’observe immédiatement. La Ville de Victoria dispose de 15 couches de données sur les eaux pluviales, contre 13 pour StormwaterSystem. Vous constaterez encore plus de différences si vous prenez l’entité de regards d’égout intégrée à la solution et que vous la comparez avec la couche de regards d’égout des collecteurs d’eaux pluviales de la Ville de Victoria. En effet, l’écart est manifeste, avec 52 champs dans la couche de solution et 36 dans les données de Victoria. En outre, les données de Victoria se divisent en quatre sous-types, alors qu’il n’y a aucune telle répartition dans la solution, sans parler des nombreux domaines qui ne sont pas alignés avec ceux de la couche StormwaterSystem. L’examen de ces entités nous indique que les schémas ne correspondent pas, de sorte que nous ne pouvons pas ajouter directement les données de la couche des regards de Victoria à la couche des regards de StormwaterSystem. En examinant ces différences et en imaginant comment introduire nos données dans la couche de solution, vous pouvez vous sentir dépassé et vous arrêter dans votre élan, mais n’ayez crainte! L’équipe ArcGIS Solutions a créé une boîte à outils que nous pouvons utiliser dans le cadre de notre travail pour résoudre rapidement ce problème.

Outils de chargement de données :

Voici maintenant l’héroïne de notre histoire : la boîte à outils de chargement de données. Ces outils sont les champions méconnus qui comblent le fossé entre votre ensemble de données unique et la structure simplifiée de la solution de gestion des données sur les eaux pluviales. Plutôt que de baisser les bras face aux divergences, nous pouvons tirer parti de ces outils pour parfaitement harmoniser ces données. Les outils de chargement vous aident à faire passer des données sources vers un ensemble de données cible, avec la possibilité d’effectuer des transformations en cours de route. Ils vous permettent de faire correspondre (ou « mapper ») vos données en détail, du niveau de la classe aux sous-types et aux champs, en passant par le mappage des domaines de valeurs codées et la transformation des valeurs individuelles.

Explorons les méandres des outils Chargement des données, de sorte à comprendre comment ils nous aident à transformer le processus complexe de chargement de données en une tâche harmonieuse et gérable. Comme je travaille avec ArcGIS Pro 3.2, les outils de chargement de données sont inclus dans la boîte à outils Gestion des données. Si vous suivez la procédure dans une version antérieure d’ArcGIS Pro, vous devez installer la boîte à outils Chargement des données pour ce flux de travaux.

Créer un espace de travail pour le chargement des données :

Ouvrez le paquetage de projet StormwaterDataManager dans ArcGIS Pro, en ajoutant toutes vos données sur les eaux pluviales et la couche d’entité StormwaterSystem. Une fois que toutes les données nécessaires ont été ajoutées, nous pouvons les charger. La première étape consiste à créer un espace de travail pour le chargement des données. Ici, nous définissons nos données sources pour chaque entité de la Ville de Victoria, et nous les faisons correspondre à la couche pertinente de la couche d’entité hébergée StormwaterSystems à partir de la solution en tant que source. Dans certains cas, nous pouvons constater que nous ne disposons pas de données correspondant à un champ de la couche solution ou que nous avons plusieurs entités qui ne correspondent qu’à une seule dans la solution, comme c’est le cas pour les conduites sous pression et les conduites gravitaires, les deux étant des tuyaux. Quand ça se présente, nous pouvons laisser de côté les cibles pour lesquelles nous ne disposons pas de données et ajouter la même cible plusieurs fois pour chaque couche source correspondante. Une fois que les couches source et cible sont toutes appariées, lancez l’outil.

Une fois qu’est exécuté l’outil Créer un espace de travail de chargement des données, un nouveau dossier appelé DataLoadingWorkspace s’affiche. Ce dernier contient des renseignements sur les entités mises en correspondance, ainsi que des dossiers pour les domaines, les scripts et le mappage des données. Il y aura un fichier Excel pour chaque ensemble d’entités appariées et chaque sous-type de ces entités, ce qui signifie que notre résultat comporte 18 fichiers Excel, alors que nous n’avons ajouté que 11 entrées à l’outil. Le classeur de référence des données est un bon point de départ, car il contient des liens vers tous les autres fichiers Excel utilisés dans le processus de chargement des données.

Mapper les données :

Vient ensuite le gros du travail à effectuer tout au long du processus : remplir les feuilles de correspondances (mappage). Ne sous-estimez pas cette tâche! Elle prendra du temps, mais si vous la faites correctement, vous gagnerez un temps considérable à long terme, et le processus de chargement des données sera aussi fluide que possible. Examinons l’entité de collecteurs gravitaires d’eaux pluviales à titre d’exemple. L’image ci-dessous montre un diagramme de l’entité de conduites gravitaires de la Ville de Victoria. Une fois les données chargées, elles deviennent un sous-type de la classe « pipe » (tuyau) dans l’entité de la solution. Nous pouvons également voir comment l’un des domaines du champ de matériaux de cette entité se compare au domaine du champ de matériaux de la couche StormwaterSystem. De nombreux changements doivent être appliqués aux données, et ce n’est qu’un domaine parmi d’autres.   

Comme nous nous concentrons uniquement sur la couche Gravity Mains (conduites gravitaires), nous pouvons temporairement désactiver les autres couches à l’aide du champ Enabled (activé) dans le classeur de référence des données. Cela permet de gagner du temps, car vous pouvez tester uniquement des parties de votre mise en correspondance, sans avoir à charger l’intégralité des données chaque fois que vous apportez des modifications. Le champ TargetDeleteQuery peut également faciliter le processus itératif de chargement des données; en lui attribuant la valeur 1=1, vous pouvez supprimer toutes les données existantes de cette entité avant de les charger à nouveau, afin d’éviter les doublons.

Nous pouvons ouvrir le fichier Excel pour la couche Gravity Mains (conduites gravitaires) à partir du classeur de référence des données. Dans ce fichier, la feuille de correspondances nous montre les champs de la couche cible qui doivent être mis en correspondance avec les informations qui ont été autoproduites à partir de la couche source. C’est sur cette feuille que la majeure partie du travail sera effectuée dans chaque classeur. Les autres feuilles contiennent des renseignements sur les schémas source et cible (encadré jaune) et une feuille pour chaque champ avec un domaine attribué (encadré bleu).

Pour faire correspondre nos champs, nous devons comprendre ce que chaque colonne décrit. J’en ai fait la synthèse ci-dessous :

• TargetField : Tous les champs se trouvent dans l’ensemble de données cible.
• FieldType : Type de champ pour chaque champ de l’ensemble de données cible.
• Expression : Il s’agit d’un paramètre d’expression qui sera utilisé avec l’outil de géotraitement Calculer un champ dans ArcGIS Pro. Vous devrez utiliser les fonctions Python écrites dans le fichier de scripts pour les expressions multilignes. Ce champ est automatiquement défini si la cible et la source ont des noms identiques.
• Colonnes « Lookup » (chercher) : Utilisés pour la mise en correspondance des champs avec les domaines.
  • LookupSheet : Nom de la feuille de domaine source.
  • LookupKeys : Colonne des codes pour le domaine source.
  • LookupValue : Nom de la colonne affichant les valeurs codées cibles correspondantes de la feuille de recherche (LookupSheet).

Nous pouvons commencer par faire correspondre les champs sans domaine. En ce qui concerne l’entité des conduites gravitaires, nous pouvons faire correspondre sept champs directement et coder en dur trois champs supplémentaires.

Les valeurs codées en dur pour les champs « lined » (revêtement) et « linermethod » (méthode de revêtement) indiquent que ces entités ne sont pas revêtues. Dans nos données sources, nous disposons d’une entité distincte pour les conduites gravitaires revêtues, de sorte qu’il est possible d’attribuer automatiquement à ces conduites la valeur « non revêtues ». Nous pouvons également coder en dur le type d’actif à 3 pour « gravité », car chaque entité représente une conduite gravitaire.

Maintenant, pour chaque champ qui contient un domaine, nous avons un peu plus de travail à faire. En reprenant le champ de matériaux mentionné ci-dessus, nous définissons la valeur LookupSheet sur la feuille nommée « Material » (matériaux), les valeurs LookupKey au champ contenant les valeurs du code original, également nommé « Material », et la valeur LookupValue au champ contenant les valeurs correspondantes dans le domaine cible :

En utilisant les valeurs du domaine cible, les champs vides restants doivent être remplacés par la nouvelle valeur appropriée.

Ce processus est répété pour chaque domaine de l’entité jusqu’à ce que toutes les données soient mises en correspondance.

Charger les données :

Une fois que nous avons terminé de mapper notre entité, nous retournons dans ArcGIS Pro et ouvrons l’outil Charger les données dans l’aperçu. Cet outil utilise l’espace de travail de chargement de données que nous venons de remplir pour charger les données de notre entité source dans une géodatabase de prévisualisation. Cela nous permet d’examiner nos résultats avant de les intégrer dans l’entité finale. Les personnes travaillant avec une version d’ArcGIS Pro antérieure à 3.2 ne disposeront pas de cet outil et devront utiliser l’outil Execute Data Load (exécuter le chargement de données). En cas de problème après l’étape de prévisualisation, nous pouvons revenir à l’espace de travail de chargement des données pour ajuster les paramètres de nos champs.

Après l’exécution de l’outil, les entités de la Ville de Victoria sont chargées avec succès dans les entités de StormwaterSystem. Tout se passe bien, et nous pouvons maintenant exécuter l’outil Charger les données à l’aide de l’espace de travail afin d’intégrer nos données dans notre entité hébergée. C’est donc chose faite! Les données ont été chargées dans la couche StormwaterSystem et sont prêtes à être utilisées dans tous les autres composants de la solution de gestion des données sur les eaux pluviales.

Nous avons géré avec succès le processus complexe et souvent difficile de chargement des données des services publics dans un modèle ArcGIS Solutions. Malgré les grandes différences entre les schémas de données, les outils de chargement se sont montrés de puissants alliés. À l’issue de cette première phase, nous nous rendons compte que le processus de chargement des données est beaucoup plus facile à gérer que nous ne le pensions au départ. Nous pouvons maintenant passer à la phase suivante en toute confiance, sachant que nos données sont prêtes à être utilisées.

Dans la deuxième partie, nous nous pencherons sur la configuration des cartes et des applications en ligne. Nous sommes sur la voie d’une gestion simplifiée et efficace des données sur les services publics, et nous vous invitons à nous joindre dans ce voyage transformateur avec ArcGIS Solutions. Restez à l’affût de notre prochain billet, qui sera encore plein de renseignements et de conseils pratiques!

Ce billet a été écrit en anglais par Maggie Samson et peut être consulté ici.