Цей курс з інженерії даних у Google Cloud 4-денний курс забезпечує повну підготовку з проектування, побудови та експлуатації систем обробки даних на Google Cloud Платформа (GCP)Учасники працюватимуть з основними сервісами інженерії даних, такими як BigQuery, Dataflow, Dataproc, Pub/Sub, Dataplex та Cloud Зберігання, вивчення сучасних концепцій отримання, зберігання, перетворення, аналізу та оркестрації даних.
Навчання включає демонстрації, практичні лабораторні роботи та реальні сценарії, допомагаючи учасникам створювати масштабовані конвеєри, оптимізувати продуктивність та впроваджувати надійні архітектури даних. cloud.
Курс інженерії даних на Google Cloud Рекомендовано для:
• інженери обробки даних, які створюють або керують конвеєрами в cloud
• спеціалісти Big Data міграція до екосистеми Google Cloud
• адміністратори баз даних та спеціалісти з ETL
• інженери-аналітики, що працюють з BigQuery
• фахівці, що готуються до сертифікації Інженер даних, в межах офіційного маршруту Google Cloud
Після закінчення курсу «Інженерія даних у Google» Cloud, учасники зможуть:
• проектувати масштабовані системи обробки даних у GCP
• створювати пакетні та потокові конвеєри за допомогою сервісів Google Cloud
• впроваджувати моделі даних та наскрізні потоки
• керувати системами обробки даних з акцентом на надійність, безпеку та вартість
• застосовувати найкращі практики автоматизації, оркестрації та оптимізації
- базові знання SQL
- рекомендовано: досвід роботи з мовою програмування (Python, Java тощо)
- розуміння фундаментальних концепцій cloud
Модуль 01 – Завдання та компоненти інженерії даних
- роль інженера даних
• джерела даних проти приймачів даних
• формати даних
• Варіанти сховища Google Cloud
• управління метаданими
• обмін наборами даних з Analytics Hub
Лабораторія: Завантаження даних у BigQuery
Модуль 02 – Реплікація та міграція даних
- архітектура реплікації та міграції
• гcloud CLI
• переміщення наборів даних
• Потік даних та варіанти використання
Лабораторія: PostgreSQL → Реплікація BigQuery з потоком даних
Модуль 03 – Вилучення та завантаження шаблону конвеєра (EL)
- Архітектура EL
• bq CLI
• Служба передачі даних BigQuery
• BigLake як альтернатива EL
Лабораторія: Старт BigLake Qwik
Модуль 04 – Вилучення, завантаження та перетворення шаблону (ELT)
- Архітектура ELT
• SQL-скрипти та планування в BigQuery
• Форма даних
Лабораторія: Створення та виконання робочого процесу SQL у Dataform
Модуль 05 – Вилучення, перетворення та завантаження шаблону (ETL)
- Архітектура ETL
• Інструменти графічного інтерфейсу в Google Cloud
• пакетна обробка за допомогою Dataproc
• потокова обробка – опції
• Bigtable у конвеєрах даних
Лабораторії:
• Dataproc Serverless для Spark → Завантажити BigQuery
• Панель керування потоком даних у режимі реального часу Pipeline
Модуль 06 – Методи автоматизації
- шаблони автоматизації
• Cloud Планувальник та робочі процеси
• Cloud Композитор
• Cloud Виконання функцій
• Eventarc
Лабораторія: Cloud Виконати функції → Завантажити BigQuery
Модуль 07 – Вступ до інженерії даних
- роль інженера даних
• проблеми інженерії даних
• вступ до BigQuery
• озера даних проти сховищ даних
• управління, доступ та співпраця
• тематичне дослідження
Лабораторія: Використання BigQuery для аналізу
Модуль 08 – Створення озера даних
- архітектура озера даних
• варіанти зберігання та ETL
• Cloud Сховище як основне озеро даних
• безпека Cloud зберігання
• використовувати Cloud SQL
Лабораторія: Завантаження даних таксі в Cloud SQL
Модуль 09 – Створення сховища даних
- сучасна архітектура сховища даних
• BigQuery – концепції, завантаження даних
• вивчення схем
• вкладені та повторювані поля
• розділення та кластеризація
Лабораторії:
• Обробка JSON та масивів у BigQuery
• Розділені таблиці в BigQuery
Модуль 10 – Вступ до побудови пакетних конвеєрів
- ЕЛ / ЕЛ / ЕТЛ
• якість даних
• виконання операцій у BigQuery
Demo: ELT для покращення якості даних
Модуль 11 – Виконання Spark на Dataproc
- Екосистема Hadoop
• виконання робочих навантажень на Dataproc
• використовувати Cloud Сховище замість HDFS
• Оптимізація обробки даних
Лабораторія: Запуск завдань Spark на Dataproc
Модуль 12 – Безсерверна обробка даних за допомогою Dataflow
- вступ до потоку даних
• агрегації, бічні входи, віконна обробка
• Потік даних та шаблони SQL
Лабораторії:
• Простий потік даних Pipeline
• MapReduce у Beam
• Бічні входи
Модуль 13 – Керування трубопроводами за допомогою Cloud Злиття даних та Cloud Композитор
- створення візуальних конвеєрів за допомогою Data Fusion
• Wrangler – дослідження та трансформація даних
• оркестровка з Cloud Композитор
• Потік повітря: групи підтримки аудиторії, оператори, робочі процеси
Лабораторії:
• Створення та виконання Pipeline у злитті даних
• Знайомство з Cloud Композитор
Модуль 14 – Вступ до потокової обробки даних
- концепції потокового передавання даних
• Інструменти GCP для потокового передавання
Модуль 15 – Безсерверний обмін повідомленнями за допомогою Pub/Sub
- Push/Sub проти pull
• публікація за допомогою коду
Лабораторія: Публікація потокових даних у Pub/Sub
Модуль 16 – Функції потокової передачі даних
- виклики потокового передавання
• віконна обробка, затримка, тригери
Лабораторія: Потокова передача даних Pipelines
Модуль 17 – Високопродуктивна потокова передача даних BigQuery та Bigtable
- потокове передавання даних у BigQuery + інформаційні панелі
• високопродуктивне завантаження в Bigtable
• Оптимізація Bigtable
Лабораторії:
• Аналітика потокового передавання та інформаційні панелі
• Трансляція в Bigtable
Модуль 18 – Розширені функції та продуктивність BigQuery
- аналітичні віконні функції
• Функції ГІС
• Оптимізація BigQuery
Лабораторія: Оптимізація запитів BigQuery
Примітка: Порядок денний може бути скоригований залежно від призначеного тренера. Щоб дізнатися остаточну версію, зверніться до команди. Bittnet Training.
- Машинне навчання в Google Cloud – 5 дні
- Вступ до штучного інтелекту та машинного навчання в Google Cloud – 1 день
Ці курси розширюють підготовку інженера даних до галузей машинного навчання та штучного інтелекту, що актуально для просунутих проектів на основі BigQuery ML, Dataflow ML та користувацьких моделей.
Курс включено до офіційного шляху сертифікації Professional Data Engineer та являє собою навчальну базу, рекомендовану Google. Cloud для цієї ролі.
Найчастіші запитання щодо курсу Data Engineering on Google Cloud
Який внесок може принести курс «Інженерія даних у Google» Cloud«до збільшення рентабельності інвестицій в організації?»
Навчання інженерів даних у Google Cloud оптимізує управління великими потоками даних, автоматизує обробку та витягує цінну аналітику. Це знижує вартість помилок, внесених вручну, пришвидшує реалізацію аналітичних проектів та підтримує бізнес-рішення, що базується на даних, що призводить до значної рентабельності інвестицій завдяки операційній ефективності та швидшому прийняттю стратегічних рішень.
Чому навчання BigQuery є важливим для компаній, орієнтованих на дані?
BigQuery пропонує петабайтне сховище та аналітику за передбачуваними цінами. Компанії, які опанували BigQuery, можуть перетворювати великі обсяги даних на практичну аналітику без масштабних інвестицій у інфраструктуру, зменшуючи сукупну вартість володіння та максимізуючи рентабельність інвестицій в аналітику.
Як Google оптимізує Cloud Pipelineдані та як вони впливають на витрати?
Pipeline-дані, що управляються в Google Cloud забезпечують автоматизовану та масштабовану обробку даних. Така автоматизація усуває повторювані завдання та пов'язані з ними помилки, зменшуючи експлуатаційні витрати та час розробки, що приносить прямі фінансові вигоди.
Яку роль відіграє Dataflow у трансформації та інтеграції даних і як це впливає на рентабельність інвестицій?
Dataflow пропонує уніфіковану обробку як для потокової, так і для пакетної обробки з автоматичним масштабуванням. Це зменшує архітектурну складність і необхідність координації між різними інструментами, що призводить до зниження експлуатаційних витрат і швидшого реагування на проекти обробки даних.
Як курс сприяє практичному впровадженню ETL/ELT у Google Cloud?
Курс зосереджений на методах вилучення, перетворення та завантаження даних за допомогою таких нативних інструментів, як Dataflow та Dataprep, що дозволяє командам створювати економічно ефективні та масштабовані конвеєри, усуваючи ізольовані середовища даних та підвищуючи цінність даних для бізнесу.
Як це зменшує Cloud Вартість зберігання великомасштабних даних?
Cloud Сховища пропонують довговічне, масштабоване сховище та вигідну ціну за використання. Така гнучкість дозволяє організаціям оптимізувати бюджети для неактивних або рідко використовуваних даних за допомогою ефективних політик архівування, зменшуючи сукупну вартість володіння та максимізуючи використання ресурсів.
Які переваги інтеграції Dataproc для обробки Hadoop/Spark та як це впливає на ефективність?
Dataproc дозволяє кластерам Hadoop та Spark працювати на вимогу з низькими витратами та швидким масштабуванням. Це усуває необхідність постійного управління кластером та мінімізує традиційні витрати на інфраструктуру, забезпечуючи значну економію та гнучкість у ваших операціях. big data.
Як знання безпеки та управління допомагають в інженерії даних у Google Cloud?
Впровадження належних практик безпеки та управління забезпечує захист конфіденційних даних та дотримання нормативних вимог. Це зменшує ризик штрафів, шкоди репутації та дороговартісних інцидентів, захищаючи дохід та забезпечуючи безперервність бізнесу економічно ефективним способом.
Чому здатність оптимізувати витрати на обробку та зберігання даних важлива в проектах обробки даних?
Оптимізація витрат на обробку та зберігання даних є важливою для управління ІТ-бюджетами. Добре підготовлені команди можуть впроваджувати політики оптимізації, які зменшують щомісячні витрати без шкоди для продуктивності, що підвищує прибутковість та довгострокову рентабельність інвестицій.
Як навчання з інженерії даних у Google може допомогти Cloud пришвидшити інновації в організації?
Навички інженерії даних дозволяють організаціям стратегічно використовувати дані, створюючи прогнозну аналітику, операційну оптимізацію та інноваційні цифрові продукти. Така гнучкість у генеруванні конкурентних знань призводить до збільшення доходів та сталої конкурентної переваги.
Чому мені показують цю сторінку?
Цю сторінку повернуто через ваші пошукові запити, які містять такі терміни, як: інженерія даних у Google cloud, сертифікований професійний інженер даних Google, інженер даних GCP, Google cloud інженер даних, Google cloud професійний інженер даних, Google cloud сертифікований професійний інженер даних, професійний інженер даних google, інженер даних google, сертифікований інженер даних google, професійний інженер даних, професійний інженер даних gcp, інженер даних google, google cloud сертифікований інженер даних, професійний інженер даних google, інженер даних gcp, google cloud database інженер, інженерія даних у Google cloud платформа, gcp cloud інженер даних, сертифікований професійний інженер даних, Google cloud інженер даних платформи, інженер даних у Google, інженерія даних з Google cloud, професійний інженер даних google cloud, інженер GCP, сертифікований інженер даних GCP, GCP для інженера даних, інженерія даних з Google cloud платформа, професійний інженер даних (gcp), інженерія даних у Google cloud спеціалізація на платформі, інженер даних Google cloud, cloud інженер даних GCP, сертифікований професійний інженер даних GCP, інженерія даних з GCP, інженер машинного навчання даних Google, Google database інженер, професійний інженер обробки даних у Google cloud платформа, інженерія даних у GCP, офіційний Google cloud сертифікований професійний інженер обробки даних, cloud Інженер даних Google, інженер даних Google cloud, інженерія даних google cloud платформа, big data Інженер Google або інші.
