[Philippe]

Olivier,

Sans entrepôt de données, votre demande, à mon avis, n’a pas de solutions simples.

Peut-être en appelant des API mais cela nécessite beaucoup de choses à commencer par des licences capacitaires tyep Fabric.

Bien à vous,

PGeiger

[Olivier]

Merci Philippe.

Étant novice, qu’entendez vous par entrepôt ?

Merci

[Philippe]

Olivier,

Un entrepôt de données est un stockage de type base de données par exemple, où nous avons le loisir de charger les données et de les préparer en vue de faciliter le chargement dans Pwer BI.

Bien à vous,

PGeiger

[Mattthieu]

Hello, c’est quoi des milliers de lignes ? J’avais il.yna longtemps fait un test pour charger beaucoup de fichier avec beaucoup de ligne et ça commençait à ramer à partir de 365 fichiers.

C’est pas optimal et je rejoins Philippe un petit Lakehouse voire Warehouse Fabric c’est fait pour ça. Mais ça peut te permettre de faire un patch.

Sinon il faudrait que tu reduiste le nombre de fichier que tu ingère en prenant par exemple 1 fichier par trimestre. Mais power bi n’a pas de problème pour des milliers de lignes. On est plus sur des problèmes quand on a des millions.

T’as testé l’incremental sur fichier ? Au cas où ;).

[Jonathan]

Bonjour Olivier,

L’actualisation incrémentielle des données fonctionne très bien avec le dossier SharePoint. Il faut simplement faire l’opération en tout début de requête Power Query. Vous pouvez filtrer les données sur une des dates que renvoie le connecteur dossier SharePoint, je partirais plutôt sur la date de modification du fichier.

Si vous avez besoin d’aide sur la mise en œuvre, je pourrais l’expliquer plus en détail, mais je pense que la documentation de Microsoft détaille plutôt bien l’opération.

Bon courage pour la suite de votre projet.

[Olivier]

Bonjour Jonathan, c’est vraiment ce dont j’ai besoin mais je ne trouve aucune documentation sur la mise en place, avez-vous un peu de temps à me consacrer?

merci

[Olivier]

Salut Olivier

Je viens de regarder rapidement comment faire ça (mais je n’ai pas pratiqué)

Pour effectuer une actualisation incrémentielle des données dans un dossier SharePoint au début d’une requête Power Query, voici les étapes à suivre :

1. Connexion au dossier SharePoint :

   • Dans Power Query, connectez-vous à votre dossier SharePoint en utilisant l’option “SharePoint Folder”.

2. Filtrage des données :

   • Une fois connecté, vous verrez une liste de fichiers. Utilisez la colonne de date de modification (Date modified) pour filtrer les fichiers. Cela permet de ne charger que les fichiers modifiés récemment.
   • Ajoutez un filtre sur cette colonne pour inclure uniquement les fichiers modifiés après une certaine date. Vous pouvez utiliser des paramètres dynamiques comme RangeStart et RangeEnd pour définir cette période.

3. Configuration des paramètres d’actualisation incrémentielle :

   • Dans Power BI Desktop, allez dans l’onglet “Modélisation” et sélectionnez “Gérer les paramètres”.
   • Ajoutez deux paramètres de type DateTime : RangeStart et RangeEnd.
   • Utilisez ces paramètres dans votre requête Power Query pour filtrer les données. Par exemple, vous pouvez ajouter une étape de filtrage pour inclure uniquement les lignes où la date de modification est entre RangeStart et RangeEnd.

lien : Actualisation incrémentielle pour les modèles sémantiques dans Power BI – Power BI | Microsoft Learn

Si je me trompe, Jonathan le dira 😉

[Jonathan]

Bonjour Olivier,

Voici le lien vers la procédure de mise en place de l’actualisation incrémentielle des données. C’est plutôt bien détaillé.

Au début, il va falloir créer deux paramètres Power Query avec les noms réservés RangeStart et RangeEnd.

Ensuite, il faudra se servir de ces paramètres pour filtrer une colonne au format Date et heure (pas date seule).

Pour que ça foncitonne correctement avec votre connecteur dossier SharePoint, il faut faire ce filtre le plus haut possible dans la requête Power Query (juste après Source).

Si vous partez sur la date de modification du fichier, ça donnera :

= Table.SelectRows(Source, each [Date modified] >= RangeStart and [Date modified] < RangeEnd)

Ensuite le reste de la procédure est plutôt bien détaillé dans le lien que je vous ai transmis plus haut.

Bon courage,

[Hyacinthe]

Bonjour à tous,

Où est la place de data getway dans tous cela ?

Je suis encore perdu quant à son utilisation.

Merci beaucoup !

[Jonathan]

Bonjour Hyacinthe,

La passerelle de données est nécessaire pour rafraîchir vos données uniquement si vos données ne sont pas accessibles dans le cloud (Par exemple une base de données SQL on prem ou encore des fichiers sur votre disque dur en local).

Pour les fichiers, vous pouvez simplement les mettre dans un site SharePoint pour éviter la gestion de la passerelle de données.

Mais sinon rien de trop complexe, il faut simplement penser à la mettre régulièrement à jour car ça ne se fait pas automatiquement.