Ce cours vous apprend à exploiter la puissance d'Apache Spark et des clusters haute capacité de la plateforme. Azure Databricks pour exécuter des tâches d'ingénierie de données complexes dans cloudVous explorerez les architectures de traitement en continu, mettrez en œuvre des processus automatisés et comprendrez comment optimiser les performances grâce aux tables Delta Live. De plus, vous apprendrez à orchestrer et à surveiller les processus de données grâce à Azure Emplois Databricks, appliquez des mesures de gouvernance et de sécurité aux données et intégrez Databricks à d'autres services Azure.
Le cours est recommandé pour :
- Ingénieurs de données qui développent des solutions de traitement de données à grande échelle.
- Les scientifiques des données qui ont besoin d'utiliser Azure Databricks pour la préparation et le traitement de grands ensembles de données.
- Les développeurs ELT qui mettent en œuvre des flux de données complexes dans cloud.
- Les professionnels qui souhaitent apprendre à orchestrer, sécuriser et optimiser les processus de données dans Azure Des briques de données.
Après avoir terminé le cours, vous saurez comment :
- Implémentez des processus incrémentiels à l’aide de Spark Structured Streaming.
- Développez des architectures de streaming avec Delta Live Tables.
- Optimisez les performances des charges de travail de données dans Spark et Delta Live Tables.
- Créer et gérer des workflows CI/CD dans Azure Des briques de données.
- Automatiser et orchestrer les flux de données via Azure Emplois Databricks et Azure Usine de données.
- Gérez la sécurité, la confidentialité et la gouvernance des données avec Unity Catalog.
- Vous utilisez des entrepôts SQL dans Azure Databricks pour les requêtes relationnelles.
- courir Azure Bloc-notes Databricks dans Azure Data Factory pour faire évoluer les processus d'ingénierie des données.
Il n'y a aucun prérequis.
- Traitement incrémental avec Spark Structured Streaming
- Introduction au streaming structuré Spark
- Mise en œuvre et suivi des processus incrémentaux
- Architectures de streaming avec tables Delta Live
- Modèles architecturaux pour les données en temps réel
- Utilisation des tables Delta Live pour les processus de streaming
- Optimiser les performances avec Spark et Delta Live Tables
- Stratégies d'optimisation d'exécution dans Spark
- Améliorer les performances des pipelines de données
- Mise en œuvre des workflows CI/CD dans Azure Databricks
- Intégration et livraison continues
- Automatiser le déploiement du code et des processus
- Automatisez les tâches avec Azure Offres d'emploi chez Databricks
- Création et planification de tâches dans Azure Databricks
- Intégration avec Azure Usine de données et Azure DevOps
- Processus de surveillance et de mise à l'échelle
- Gouvernance et sécurité des données dans Azure Databricks
- Catalogue Unity et contrôle d'accès aux données
- Gestion de la confidentialité et de la conformité
- Utilisation des entrepôts SQL dans Azure Databricks
- Requêtes SQL relationnelles sur de grands ensembles de données
- Optimisation des analyses via SQL Warehouses
- Exécution de blocs-notes Databricks avec Azure Usine de données
- Intégration de notebooks dans les pipelines de données
- Automatiser les processus d'ingénierie des données à grande échelle cloud
- Microsoft DP-3011 : Mise en œuvre d'une solution d'analyse de données avec Azure Databricks
- Microsoft DP-3012 : Mise en œuvre d'une solution d'analyse de données avec Azure Analyse Synapse
- Microsoft DP-500 : Conception et mise en œuvre de solutions d’analyse à l’échelle de l’entreprise à l’aide Microsoft Azure et Microsoft Power BI
Il n’existe actuellement aucun programme de certification.
