Microsoft DP-203 – Data Engineering on Microsoft Azure

Порядок денний курсу

Модуль 1: Дослідіть варіанти обчислення та зберігання для робочих навантажень інженерії даних

У цьому модулі учасники отримають огляд технологічних варіантів Azure обчислення та зберігання даних. Учні навчаться обробляти, фільтрувати та класифікувати дані. Вони навчаться створювати індекси наборів даних, таких як CSV, JSON і Parquet, і використовувати їх для прискорення різних процесів в організації.

Модуль 2: Проектування та впровадження рівня обслуговування

У цьому модулі студенти дізнаються, як планувати та впроваджувати сховища даних у сучасному сховищі даних для оптимізації аналітичних процесів.

Модуль 3: Розгляд інформації щодо вихідних файлів

У цьому модулі досліджуються питання інженерії даних, які є звичайними, коли студенти завантажують дані в сучасне сховище даних із файлів, що зберігаються в Azure Озеро даних і розуміння елементів безпеки, пов’язаних із зберіганням файлів в озері даних.

Модуль 4: Виконуйте інтерактивні запити за допомогою Azure Безсерверні пули SQL Synapse Analytics

У цьому модулі учні навчаться працювати з файлами, що зберігаються в озері даних, і зовнішніми джерелами файлів за допомогою операторів T-SQL, які виконуються безсерверним пулом SQL у Azure Synapse Analytics. Ви дослідите файли Parquet, що зберігаються в озері даних, а також файли CSV, що зберігаються у зовнішньому сховищі даних. Далі ви створите групи безпеки Azure Active Directory і примусовий доступ до файлів в озері даних через контроль доступу на основі ролей (RBAC) і списки контролю доступу (ACL)

Модуль 5: Дослідження, перетворення та завантаження даних у сховище даних за допомогою Apache Spark

У цьому модулі учні навчаться досліджувати дані, що зберігаються в озері даних, перетворювати дані та завантажувати їх у реляційне сховище даних. Студенти досліджуватимуть файли Parquet і JSON, а також використовуватимуть методи для запитів і перетворення файлів JSON з ієрархічними структурами.

Модуль 6: Дослідження та перетворення даних у Azure Збір даних

У цьому модулі учні навчаться використовувати різні методи Apache Spark DataFrame для дослідження та перетворення даних у Azure Databricks. Учасники навчаться виконувати стандартні методи DataFrame для дослідження та перетворення даних. Вони також навчаться виконувати більш складні завдання, такі як видалення дублікатів даних, маніпулювання значеннями дати/часу, перейменування стовпців і агрегування даних.

Модуль 7: Імпорт і завантаження даних у сховище даних

У цьому модулі курсу Microsoft DP-203 – Data Engineering on Microsoft Azure, слухачі навчаться імпортувати дані до сховища даних за допомогою скриптів T-SQL та конвеєрів інтеграції Synapse Analytics.

Модуль 8: Перетворення даних з Azure Data Factory або Azure Синапс Pipelines

Цей модуль навчає учнів будувати конвеєри інтеграції даних для імпорту даних із кількох джерел, трансформації даних за допомогою відображення потоків даних і передачі даних до одного або кількох приймачів даних.

Модуль 9: Керуйте передачею та перетворенням даних у конвеєрах Azure Синапс

У цьому модулі учасники навчаться створювати пов’язані служби та організовувати передачу та перетворення даних за допомогою блокнотів Azure Синапс Pipelines.

Модуль 10: Оптимізація продуктивності запитів за допомогою виділених пулів SQL Azure Синапс

У цьому модулі учні дізнаються про стратегії оптимізації зберігання та обробки даних під час використання виділених пулів SQL у Azure Synapse Analytics. Студент знатиме, як використовувати такі функції розробника, як вікна та функції HyperLogLog, використовувати найкращі методи завантаження даних, а також оптимізувати та покращити продуктивність оцінки даних.

Модуль 11: Аналіз та оптимізація зберігання сховищ даних

У цьому модулі учасники навчаться аналізувати, а потім оптимізувати зберігання даних у виділених пулах SQL Azure Синапс

Модуль 12: Підтримка гібридної транзакційної аналітичної обробки (HTAP). Azure Synapse Link

У цьому модулі учні дізнаються, як це зробити Azure Synapse Link забезпечує безперебійне підключення облікових записів Azure Cosmos DB до робочої області Synapse. Студенти навчаться вмикати та налаштовувати посилання Synapse, а потім надсилати запити до аналітичного сховища Azure Cosmos DB з використанням Apache Spark і SQL без сервера.

Модуль 13: Наскрізна безпека з Azure Synapse Analytics

У цьому модулі учні навчаться захищати робочий простір Synapse Analytics та його допоміжну інфраструктуру. Студенти ознайомляться з SQL Active Directory Admin, керуватимуть правилами брандмауера IP. Вони організують секрети с Azure Key Vault, до якого вони матимуть доступ через службу, підключену до Key Vault, і конвеєрні дії.

Модуль 14: Обробка потоку даних у реальному часі за допомогою Stream Analytics

У цьому модулі студенти навчаться імпортувати та обробляти дані в режимі реального часу за допомогою віконних функцій Azure Потокова аналітика. Нарешті, студент навчиться масштабувати діяльність Stream Analytics для підвищення ефективності.

Модуль 15: Створення рішення для обробки потоку даних за допомогою концентраторів подій і Azure Databrick

У цьому модулі учні дізнаються про ключові функції та використання структурованого потокового передавання. До кінця модуля студенти підключаться до центрів подій для читання та запису потоків.

Модуль 16: Створення звітів за допомогою інтеграції Power BI Azure Synpase Analytics

У цьому модулі курсу Microsoft DP-203 – Data Engineering on Microsoft Azure, слухачі навчаться інтегрувати Power BI зі своїм робочим простором Synapse для створення звітів у Power BI. Учасники створять нове джерело даних та звіт Power BI у Synapse Studio.

Модуль 17: Виконуйте вбудовані процеси машинного навчання Azure Synapse Analytics

Цей модуль курсу Microsoft DP-203 – Data Engineering on Microsoft Azure ознайомтеся з інтегрованим, комплексним досвідом Azure Машинне навчання і Azure Cognitive Services в Azure Synapse Analytics. Учні навчаться підключати робочий простір Azure Synapse Analytics на робочому місці Azure Машинне навчання за допомогою пов’язаної служби, а потім ініціювати автоматизований експеримент ML, який використовує дані з таблиці Spark.