Import dataverse

Étiquetté : ,

  • Import dataverse

    Posté par ChezWam sur 15 décembre 2022 à 9h19

    Bien le bonjour,

    j’ai un flux automatisé qui va chercher des données dans une base Oracle ( environ 5k lignes),ensuite j’importe le tout dans un table data verse for teams, ce flux s’exécute 1 fois par jour.

    L’export depuis Oracle s’exécute en 5secondes.

    Je rencontre une problématique avec l’import, celui-ci prend plus de 10 minutes et s’arrête à ce moment avec un message d’erreur (délais d’exécution ). Je suis à environ 2000 lignes au moment où stop le flux.

    Edit : J’ai relancé le flux, finalement il s’est exécuté sans problèmes mais en 17 minutes pour 2060 lignes. Savez s’il est possible d’accélérer le traitement ? Est ce que j’ai mal configuré mon flux ?

    Merci d’avance. 😉

    PostID=Q4iQQpoGn33SuI3

    ChezWam a répondu Il y a 7 mois, 2 semaines 1 Membre · 7 Réponses
  • 7 Réponses
  • R3dKap

    Membre
    15 décembre 2022 à 9h44

    Salut ChezWam, suis pas un expert sur le sujet mais je sais que le traitement de données volumineuses via Power Automate c’est juste l’enfer : Power Automate est beaucoup trop lent pour ce genre de choses.

    A la place, je dirais que le mieux c’est de le faire via du Power Shell…

    Mais tous les jours il importe 5000 lignes ou juste une première fois et ensuite seulement le delta ?

    Theophile CHIN-NIN, Tanguy Touzard votre avis ?

    CommentID=IMNezZ2ga7AUUwG, PostID=Q4iQQpoGn33SuI3

  • Tanguy Touzard

    Membre
    15 décembre 2022 à 9h54

    Déjà, voir le parallélisme mis en place ou non dans la boucle Foreach, ça peut accélérer le traitement.

    Ensuite, peut être que tu tombes sur du throttling parce que ça pousse justement trop de requête en peu de temps, ce qui fait que la plateforme peut te mettre en attente

    CommentID=0pnDfPrCsSxky4a, PostID=Q4iQQpoGn33SuI3

  • ChezWam

    Membre
    15 décembre 2022 à 10h06

    CommentID=GhDGvKMDApQVaAZ, PostID=Q4iQQpoGn33SuI3

  • ChezWam

    Membre
    15 décembre 2022 à 10h07

    Je vous partage le flux, il est en deux étapes : l’export depuis Oracle et l’import dans le data verse.

    CommentID=OhQELjA3KrCMyVG, PostID=Q4iQQpoGn33SuI3

  • Yoz

    Membre
    15 décembre 2022 à 11h11

    Le fait qu’il stop à 2000 est peut être lié à la pagination ?
    Si tu cliques sur les trois petits points puis paramètres est ce que passer la pagination à 5000 solutionne ce problème ?

    CommentID=HpzxvpdmavdYTPP, PostID=Q4iQQpoGn33SuI3

    • ChezWam

      Membre
      15 décembre 2022 à 12h58

      Merci pour le retour, j’ai pensé à cela mais cela ne résous pas le problème, j’ai la même problématique avec 1000 lignes aussi.

      SubCommentID=CpSTc52DXgPUxRg, CommentID=HpzxvpdmavdYTPP, PostID=Q4iQQpoGn33SuI3

  • ChezWam

    Membre
    15 décembre 2022 à 14h58

    Merci pour vos retours et notamment Tanguy Touzard, ne sachant pas ce qu’était le parallélisme j’ai cherché et trouvé l’option qui va bien ! Grace à cela je suis passé à un traitement de 2 minutes.

    Un grand merci 🙂

    CommentID=7fe6EKHFEemysxd, PostID=Q4iQQpoGn33SuI3

Connectez-vous pour répondre.