Ten kurs nauczy Cię, jak wykorzystać potencjał Apache Spark i klastrów o dużej pojemności na platformie. Azure Databricks do wykonywania złożonych zadań inżynierii danych w cloudPoznasz architektury przetwarzania strumieniowego, wdrożysz zautomatyzowane procesy i dowiesz się, jak optymalizować wydajność za pomocą tabel Delta Live. Ponadto nauczysz się organizować i monitorować procesy przetwarzania danych za pomocą… Azure Praca w Databricks, stosowanie środków zarządzania i bezpieczeństwa danych oraz integracja Databricks z innymi usługami Azure.
Kurs polecany jest dla:
- Inżynierowie danych opracowujący rozwiązania z zakresu przetwarzania danych na dużą skalę.
- Naukowcy zajmujący się danymi, którzy muszą z nich korzystać Azure Databricks do przygotowywania i przetwarzania dużych zbiorów danych.
- Programiści ELT, którzy wdrażają złożone przepływy danych w cloud.
- Profesjonaliści chcący nauczyć się, jak organizować, zabezpieczać i optymalizować procesy przetwarzania danych Azure Klocki danych.
Po ukończeniu kursu będziesz wiedział jak:
- Wdrażaj procesy przyrostowe przy użyciu Spark Structured Streaming.
- Twórz architektury strumieniowe za pomocą Delta Live Tables.
- Zoptymalizuj wydajność obciążeń danych w Spark i Delta Live Tables.
- Twórz i zarządzaj przepływami pracy CI/CD w Azure Klocki danych.
- Automatyzacja i koordynacja przepływów danych Azure Praca w Databricks i Azure Fabryka danych.
- Zarządzaj bezpieczeństwem danych, prywatnością i zarządzaniem dzięki Unity Catalog.
- Używasz magazynów SQL w Azure Databricks do zapytań relacyjnych.
- uruchomić Azure Notatniki Databricks w Azure Data Factory umożliwiająca skalowanie procesów inżynierii danych.
Nie ma żadnych wymagań wstępnych.
- Przetwarzanie przyrostowe z wykorzystaniem Spark Structured Streaming
- Wprowadzenie do Spark Structured Streaming
- Wdrażanie i monitorowanie procesów przyrostowych
- Architektury strumieniowe z tabelami Delta Live
- Modele architektoniczne dla danych w czasie rzeczywistym
- Korzystanie z tabel Delta Live do strumieniowania procesów
- Optymalizacja wydajności za pomocą Spark i Delta Live Tables
- Strategie optymalizacji wykonania w Spark
- Zwiększanie wydajności potoków danych
- Wdrażanie przepływów pracy CI/CD w Azure Pamięci danych
- Ciągła integracja i dostarczanie
- Automatyzacja wdrażania kodu i procesów
- Automatyzuj zadania za pomocą Azure Oferty pracy w Databricks
- Tworzenie i planowanie zadań w Azure Pamięci danych
- Integracja z Azure Fabryka danych i Azure DevOps
- Monitorowanie i skalowanie procesów
- Zarządzanie danymi i bezpieczeństwo w Azure Pamięci danych
- Katalog Unity i kontrola dostępu do danych
- Zarządzanie prywatnością i zgodnością
- Korzystanie z magazynów SQL w Azure Pamięci danych
- Relacyjne zapytania SQL na dużych zestawach danych
- Optymalizacja analizy poprzez magazyny SQL
- Uruchamianie notatników Databricks z Azure Fabryka danych
- Integrowanie notatników z procesami przetwarzania danych
- Automatyzacja procesów inżynierii danych na dużą skalę cloud
- Microsoft DP-3011: Wdrażanie rozwiązania analityki danych z Azure Pamięci danych
- Microsoft DP-3012: Wdrażanie rozwiązania analityki danych z Azure Analiza synaps
- Microsoft DP-500: Projektowanie i wdrażanie rozwiązań analitycznych na skalę przedsiębiorstwa przy użyciu Microsoft Azure oraz Microsoft Power BI
W chwili obecnej nie ma żadnych programów certyfikacyjnych.
