Data Engineering on Microsoft Azure (DP-203T00)

Module 1: Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données

Ce module fournit une vue d'ensemble des options de technologie de calcul et de stockage Azure qui sont disponibles pour les ingénieurs de données qui créent des charges de travail analytiques. Ce module enseigne comment structurer le lac de données et optimiser les fichiers pour les charges de travail d'exploration, de diffusion en continu et de traitement par lots. L'étudiant apprendra à organiser le lac de données en niveaux de raffinement des données lors de la transformation des fichiers par traitement par lots et par flux. Ils apprendront ensuite à créer des index sur leurs ensembles de données, tels que des fichiers CSV, JSON et Parquet, et à les utiliser pour une requête potentielle et une accélération de la charge de travail.

• Présentation d'Azure Synapse Analytics
• Décrire Azure Databricks
• Présentation du stockage Azure Data Lake
• Décrire l'architecture du lac Delta
• Travailler avec des flux de données à l'aide d'Azure Stream Analytics

Module 2: Concevoir et mettre en œuvre la couche de service

Ce module enseigne comment concevoir et mettre en œuvre des magasins de données dans un entrepôt de données moderne pour optimiser les charges de travail analytiques. L'étudiant apprendra à concevoir un schéma multidimensionnel pour stocker des données factuelles et dimensionnelles. Ensuite, l'étudiant apprendra à remplir des dimensions qui changent lentement grâce au chargement de données incrémentiel à partir d'Azure Data Factory.

• Concevoir un schéma multidimensionnel pour optimiser les charges de travail analytiques
• Transformation sans code à grande échelle avec Azure Data Factory
• Remplir des dimensions à évolution lente dans les pipelines Azure Synapse Analytics

Module 3: Considérations relatives à l'ingénierie des données pour les fichiers source

Ce module explore les considérations d'ingénierie des données qui sont courantes lors du chargement de données dans un entrepôt de données moderne analytique à partir de fichiers stockés dans un lac de données Azure, et comprend les considérations de sécurité associées au stockage des fichiers stockés dans le lac de données.

• Concevoir un entrepôt de données moderne à l'aide d'Azure Synapse Analytics
• Sécuriser un entrepôt de données dans Azure Synapse Analytics

Module 4: Exécuter des requêtes interactives à l'aide de pools SQL sans serveur Azure Synapse Analytics

Dans ce module, les étudiants apprendront à travailler avec des fichiers stockés dans le lac de données et des sources de fichiers externes, via des instructions T-SQL exécutées par un pool SQL sans serveur dans Azure Synapse Analytics. Les étudiants interrogeront les fichiers Parquet stockés dans un lac de données, ainsi que les fichiers CSV stockés dans un magasin de données externe. Ensuite, ils créeront des groupes de sécurité Azure Active Directory et appliqueront l'accès aux fichiers du lac de données via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL).

• Explorer les fonctionnalités des pools SQL sans serveur Azure Synapse
• Interroger des données dans le lac à l'aide de pools SQL sans serveur Azure Synapse
• Créer des objets de métadonnées dans les pools SQL sans serveur Azure Synapse
• Sécurisez les données et gérez les utilisateurs dans les pools SQL sans serveur Azure Synapse

Module 5: Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark

Ce module enseigne comment explorer les données stockées dans un lac de données, transformer les données et charger des données dans un magasin de données relationnelles. L'étudiant explorera les fichiers Parquet et JSON et utilisera des techniques pour interroger et transformer des fichiers JSON avec des structures hiérarchiques. Ensuite, l'étudiant utilisera Apache Spark pour charger des données dans l'entrepôt de données et joindre les données Parquet dans le lac de données avec les données dans le pool SQL dédié.

• Comprendre l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics
• Ingérer des données avec des blocs-notes Apache Spark dans Azure Synapse Analytics
• Transformer les données avec DataFrames dans Apache Spark Pools dans Azure Synapse Analytics
• Intégrer des pools SQL et Apache Spark dans Azure Synapse Analytics

Module 6: Exploration et transformation des données dans Azure Databricks

Ce module explique comment utiliser diverses méthodes Apache Spark DataFrame pour explorer et transformer des données dans Azure Databricks. L'étudiant apprendra à utiliser les méthodes DataFrame standard pour explorer et transformer des données. Ils apprendront également à effectuer des tâches plus avancées, telles que la suppression des données en double, la manipulation des valeurs de date/heure, le renommage des colonnes et l'agrégation des données.

• Décrire Azure Databricks
• Lire et écrire des données dans Azure Databricks
• Travailler avec des DataFrames dans Azure Databricks
• Travailler avec les méthodes avancées DataFrames dans Azure Databricks

Module 7: Ingérer et charger des données dans l'entrepôt de données

Ce module enseigne aux étudiants comment ingérer des données dans l'entrepôt de données via des scripts T-SQL et des pipelines d'intégration Synapse Analytics. L'étudiant apprendra comment charger des données dans des pools SQL dédiés Synapse avec PolyBase et COPY en utilisant T-SQL. L'étudiant apprendra également à utiliser la gestion de la charge de travail avec une activité de copie dans un pipeline Azure Synapse pour l'ingestion de données à l'échelle du pétaoctet.

• Utiliser les bonnes pratiques de chargement des données dans Azure Synapse Analytics
• Ingestion à l'échelle du pétaoctet avec Azure Data Factory

Module 8: Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines

Ce module enseigne aux étudiants comment créer des pipelines d'intégration de données à ingérer à partir de plusieurs sources de données, transformer des données à l'aide de flux de données de mappage et effectuer un déplacement de données vers un ou plusieurs puits de données.

• Intégration des données avec Azure Data Factory ou Azure Synapse Pipelines
• Transformation sans code à grande échelle avec Azure Data Factory ou Azure Synapse Pipelines

Module 9: Orchestrer le déplacement et la transformation des données dans Azure Synapse Pipelines

Dans ce module, vous apprendrez à créer des services liés et à orchestrer le déplacement et la transformation des données à l'aide de notebooks dans Azure Synapse Pipelines.

• Orchestrez le déplacement et la transformation des données dans Azure Data Factory

Module 10: Optimiser les performances des requêtes avec des pools SQL dédiés dans Azure Synapse

Dans ce module, les étudiants apprendront des stratégies pour optimiser le stockage et le traitement des données lors de l'utilisation de pools SQL dédiés dans Azure Synapse Analytics. L'étudiant saura comment utiliser les fonctionnalités de développement, telles que les fonctions de fenêtrage et HyperLogLog, utiliser les meilleures pratiques de chargement de données et optimiser et améliorer les performances des requêtes.

• Optimiser les performances des requêtes d'entrepôt de données dans Azure Synapse Analytics
• Comprendre les fonctionnalités de développeur d'entrepôt de données d'Azure Synapse Analytics

Module 11: Analyser et optimiser le stockage de l'entrepôt de données

Dans ce module, les étudiants apprendront à analyser puis à optimiser le stockage des données des pools SQL dédiés Azure Synapse. L'étudiant connaîtra les techniques pour comprendre l'utilisation de l'espace table et les détails de stockage du magasin de colonnes. Ensuite, l'étudiant saura comment comparer les exigences de stockage entre des tables identiques qui utilisent différents types de données. Enfin, l'étudiant observera l'impact des vues matérialisées lorsqu'elles sont exécutées à la place de requêtes complexes et apprendra comment éviter une journalisation extensive en optimisant les opérations de suppression.

• Analyser et optimiser le stockage de l'entrepôt de données dans Azure Synapse Analytics

Module 12: Prise en charge du traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link

Dans ce module, les étudiants apprendront comment Azure Synapse Link permet une connectivité transparente d'un compte Azure Cosmos DB à un espace de travail Synapse. L'étudiant comprendra comment activer et configurer le lien Synapse, puis comment interroger le magasin analytique Azure Cosmos DB à l'aide d'Apache Spark et SQL sans serveur.

• Concevoir un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics
• Configurer Azure Synapse Link avec Azure Cosmos DB
• Interroger Azure Cosmos DB avec des pools Apache Spark
• Interroger Azure Cosmos DB avec des pools SQL sans serveur

Module 13: Sécurité de bout en bout avec Azure Synapse Analytics

Dans ce module, les étudiants apprendront comment sécuriser un espace de travail Synapse Analytics et son infrastructure de support. L'étudiant observera l'administrateur SQL Active Directory, gérera les règles de pare-feu IP, gérera les secrets avec Azure Key Vault et accédera à ces secrets via un service lié Key Vault et des activités de pipeline. L'étudiant comprendra comment mettre en œuvre la sécurité au niveau des colonnes, la sécurité au niveau des lignes et le masquage dynamique des données lors de l'utilisation de pools SQL dédiés.

• Sécuriser un entrepôt de données dans Azure Synapse Analytics
• Configurer et gérer les secrets dans Azure Key Vault
• Mettre en place des contrôles de conformité pour les données sensibles

Module 14: Traitement de flux en temps réel avec Stream Analytics

Dans ce module, les étudiants apprendront à traiter les données de streaming avec Azure Stream Analytics. L'étudiant ingérera les données de télémétrie des véhicules dans Event Hubs, puis traitera ces données en temps réel, à l'aide de diverses fonctions de fenêtrage dans Azure Stream Analytics. Ils transmettront les données à Azure Synapse Analytics. Enfin, l'étudiant apprendra comment mettre à l'échelle le travail Stream Analytics pour augmenter le débit.

• Activer une messagerie fiable pour les applications Big Data à l'aide d'Azure Event Hubs
• Travailler avec des flux de données à l'aide d'Azure Stream Analytics
• Ingérer des flux de données avec Azure Stream Analytics

Module 15: Créer une solution de traitement de flux avec Event Hubs et Azure Databricks

Dans ce module, les étudiants apprendront comment ingérer et traiter des données de streaming à grande échelle avec Event Hubs et Spark Structured Streaming dans Azure Databricks. L'étudiant apprendra les principales fonctionnalités et utilisations du streaming structuré. L'étudiant mettra en œuvre des fenêtres coulissantes pour agréger des blocs de données et appliquera un filigrane pour supprimer les données obsolètes. Enfin, l'étudiant se connectera à Event Hubs pour lire et écrire des flux.

• Traiter les données de streaming avec le streaming structuré Azure Databricks

Module 16: Créer des rapports à l'aide de l'intégration de Power BI avec Azure Synpase Analytics

Dans ce module, l'étudiant apprendra comment intégrer Power BI à son espace de travail Synapse pour créer des rapports dans Power BI. L'étudiant créera une nouvelle source de données et un rapport Power BI dans Synapse Studio. Ensuite, l'étudiant apprendra comment améliorer les performances des requêtes avec des vues matérialisées et la mise en cache de l'ensemble de résultats. Enfin, l'étudiant explorera le lac de données avec des pools SQL sans serveur et créera des visualisations par rapport à ces données dans Power BI.

• Créer des rapports avec Power BI en utilisant son intégration avec Azure Synapse Analytics

Module 17: Effectuer des processus d'apprentissage automatique intégrés dans Azure Synapse Analytics

Ce module explore l'expérience Azure Machine Learning et Azure Cognitive Services intégrée de bout en bout dans Azure Synapse Analytics. Vous apprendrez à connecter un espace de travail Azure Synapse Analytics à un espace de travail Azure Machine Learning à l'aide d'un service lié, puis à déclencher une expérience ML automatisée qui utilise les données d'une table Spark. Vous apprendrez également à utiliser des modèles formés à partir d'Azure Machine Learning ou d'Azure Cognitive Services pour enrichir les données dans une table de pool SQL, puis diffuser les résultats de prédiction à l'aide de Power BI.

• Utiliser le processus d'apprentissage automatique intégré dans Azure Synapse Analytics

*La littérature fournie est en langue anglaise.