Fabric
Réinventez la façon dont chacun accède, gère et agit sur les données grâce à une seule plateforme basée... Voir plus
Abonné:
- Organisé par
-
-
Import de données flux Gen2 via un pipeline dans un entrepôt de données
-
Import de données flux Gen2 via un pipeline dans un entrepôt de données
Bonjour la communauté
J’ai créé pour tester un Lakehouse et un entrepôt pour tester les deux modes de stockage
J’ai ensuite créé un pipeline qui charge un ensemble de table issue de sql serveur vers le lakehouse. Jusque là ça fonctionne bien
Le problème s’est posé quand j’ai voulu changer ma destination et mettre l’entrepôt. Quand je change la destination et que je lance le pipeline j’ai un message qui me dit que je dois passer par une copie intermédiaire sur un stockage externe (type Azure). Je dois cocher l’option copie intermédiaire dans les paramétres et choisir l’option Externe. Par défaut j’ai dans les choix de stockage externe blob azuesynapsestorage à mon nom.
Ma compréhesion est que je dois créer dans Azure un stockage dédié pour ces copies intermédiaires. Est-ce la bonne compréhension ?
Quelqu’un peut m’éclairer sur le processus s’il vous plaît ?
Merci d’avance etexcellente soirée !
-
Cette discussion a été modifiée Il y a 2 mois, 2 semaines par
Sofia.
-
Cette discussion a été modifiée Il y a 2 mois, 2 semaines par
-
1 Réponse
-
Bonjour,
Oui, vous avez la bonne compréhension.
J’imagine que vous utilisez un On-Premises Data Gateway et que votre source est On-Prem.La copie vers un LH écrit directement au format parquet dans les fichiers (qui se trouvent dans OneLake – un ADSL totalement managé par Fabric). Cela passe pas les API OneLake.
Pour le Warehouse, le mécanisme utilisé est un COPY INTO (BULK COPY qui existe depuis très longtemps dans le monde des bases de données). Mais cela nécessite que les données soient au plus proche du Data Warehouse. Donc il y a une première étape pour monter le fichier dans un espace cloud (staging).Plus d’infos :
JP
Connectez-vous pour répondre.