Reply To: Problème d’update de données volumineuses (200k+ lignes) dans Dataverse

  • Alexandre

    Member
    22 avril 2025 at 20h36

    Hello,

    Effectivement de mon côté j’industrialise mes imports massifs de données via des dataflows. Mon scénario est le suivant :

    1/ dépot d’un fichier référentiel par un tiers sur une biblio sharepoint

    2/ détection du dépôt via power automate puis archivage du fichier dans un répertoire de travail et lancement de l’exécution du DF

    3/ le power query de mon DF est configuré pour récupérer le fichier sur le chemin attendu avec le nom attendu, il procède à l’insertion (en mode update ou non) dans mes tables Dataverse

    4/ (ou 2/ bonus) j’utilise le trigger de fin de chargement de dataflow dans le même flux pour (on peut effectivement utiliser le déclencheur en plein milieu du flux) afin de faire mes posts traitements si besoin (nettoyage de fichier, logs d’exécution etc…). Cela peut aussi être réalisé dans un autre flux à part entière.

    Le plus gros inconvénient pour les dataflows est l’ALM. A chaque livraison de ces dataflows sur un nouvel environnement tu devras les reconfigurer pour qu’ils utilisent les bonnes sources (pour configurer des sharepoints différents selon tes environnements)

    • This reply was modified 1 year ago by  Alexandre. Reason: précision sur les inconvénients des dataflows