Données et ETL

Critère DataFlow Gen2 Pipelines Rôle Préparer les données sans code (Power Query). Orchestrer des traitements de bout en bout. Transformations Interface clics (filtres, jointures, colonnes calculées). Copier, lancer des scripts, exécuter des notebooks, utiliser T-SQL, appeler des API web. Planification Actualisations simples et régulières. Déclencheurs horaires/événementiels, dépendances entre tâches. Volumes & performance Adapté à des […]

La notion de CU/s et la mesure de la consommation : Une capacité Microsoft Fabric correspond à une puissance dédiée mesurée en Capacity Units (CU). Plus le niveau est élevé (de F2 à F2048), plus la capacité est puissante. Par exemple, une F64 dispose de 64 CU. L’usage est mesuré toutes les 30 secondes (un […]

Afin d’ouvrir OneLake aux données externes, Fabric introduit deux fonctionnalités clés : Les raccourcis (shortcuts) : représentent des objets dans OneLake qui pointent vers d’autres emplacements de stockage externes à l’espace de travail, externes à Fabric, externes à Azure ou encore des sources en local. Cette capacité de virtualisation permet de référencer et d’accéder aux données […]

Dans la majorité des entreprises, les données sont dispersées entre différents outils, applications et fichiers è il devient difficile d’avoir une vision globale, d’assurer la qualité des données et de les transformer rapidement en décisions concrètes. Microsoft Fabric est une solution SaaS unifiée qui centralise l’ensemble du cycle de vie des données, de l’ingestion à […]

L’architecture de Microsoft Fabric repose sur un ensemble de composants interconnectés, chacun répondant à un rôle spécifique dans le cycle de vie des données.Ces briques fonctionnent au sein d’un environnement unifié, appuyé sur OneLake, le lac de données central.Le tableau ci-dessous présente les principaux composants de Fabric et leur rôle opérationnel dans cette architecture intégrée. […]

Dans Microsoft Fabric, les équipes produisent une grande variété d’objets : Lakehouses, modèles sémantiques, entrepôts, jeux de données, rapports Power BI…Mais comment garantir que les utilisateurs de toute l’entreprise savent quelles données sont fiables, validées et officielles ? C’est le rôle de la fonctionnalité d’approbation (Endorsement).Elle permet d’identifier, de promouvoir et de certifier les éléments […]

Introduction : Dans un contexte où l’accès rapide et flexible aux données devient un enjeu stratégique, les organisations cherchent à optimiser la façon dont elles exposent leurs données analytiques aux applications métier. Les méthodes traditionnelles : exports manuels, requêtes ad-hoc répétées, ou APIs REST complexes montrent rapidement leurs limites face aux besoins croissants de performance […]

Introduction : Dans Microsoft Fabric, le Lakehouse combine les avantages d’un data lake (stockage flexible) et d’un data warehouse (analyse SQL). Face à la problématique récurrente d’accès aux données Delta pour les analystes métier — qui ne maîtrisent pas PySpark et pour qui la création d’un Warehouse séparé impliquerait duplication des données, coûts supplémentaires et […]

OneLake, c’est l’espace de stockage centralisé de Fabric , l’endroit où toutes tes données sont physiquement enregistrées. Tu peux y déposer à peu près n’importe quel type de fichier. Mais attention : tous les formats ne se valent pas. Certains sont juste « posés là » sans avantage particulier, d’autres sont pleinement exploités par l’écosystème Fabric. Cet […]

1.Introduction : pourquoi Delta Lake ? Quand tu crées un Lakehouse dans Microsoft Fabric et que tu charges des données dans une table, il se passe quelque chose dans les coulisses : tes données sont automatiquement stockées au format Delta Lake. Pas besoin de le configurer, pas besoin de le demander : c’est le comportement […]

Microsoft Fabric propose une expérience SQL entièrement intégrée permettant d’interroger directement les tables Delta d’un Lakehouse à travers un point de terminaison analytique SQL. Avec ce point d’accès , les commandes T-SQL peuvent définir et interroger des objets de données, mais pas manipuler ou modifier les données. Vous pouvez effectuer les actions suivantes dans le […]

Le Lakehouse combine la souplesse du data lake et les capacités analytiques d’un warehouse.Il s’appuie sur un lac de données (comme OneLake) et sur des tables au format Delta, qui apportent des fonctionnalités de base de données : transactions ACID (Atomicité, Cohérence, Isolation, Durabilité), cohérence des données. Un Lakehouse ressemble à une base de données relationnelle, […]

Dans l’univers des données, Data Lake et ADLS Gen2 sont deux notions clés. Nous les définissons simplement et montrons leur lien pour mieux comprendre comment bâtir une plateforme de données moderne sur Azure. Data Lake : Un lac de données est une plateforme de stockage capable d’absorber de très grands volumes de données dans leur […]

Microsoft Fabric, en tant que plateforme unifiée de données et d’analytique, propose une approche moderne : l’organisation des données par domaines fonctionnels. Cette méthodologie s’inspire des principes de la Data Mesh, qui vise à rendre les équipes responsables de leurs propres données. Pourquoi organiser ses données par domaines fonctionnels ? Structure et hiérarchie : domaines […]

Dans Microsoft Fabric, deux objets couvrent les principaux modes de stockage et de traitement analytique : le Lakehouse et le Warehouse. Lakehouse : Un Lakehouse dans Microsoft Fabric combine la flexibilité d’un Data Lake avec les capacités analytiques d’un Data Warehouse. Il stocke les données au format ouvert Delta Lake (Parquet) dans OneLake, permettant à […]

Mirroring Réplication automatique et continue d’une base de données source (Azure SQL, Snowflake, Cosmos DB) vers OneLake en format Delta. Le système capture les modifications en temps réel via CDC intégré et maintient une copie synchronisée sans configuration ETL manuelle. CDC (Change Data Capture) : Technologie qui surveille et capture automatiquement toutes les modifications de […]