Ten kurs Inżynierii danych w Google Cloud 4-dniowy kurs zapewnia pełne szkolenie w zakresie projektowania, budowy i obsługi systemów przetwarzania danych. Google Cloud Platforma (GCP)Uczestnicy będą pracować z głównymi usługami inżynierii danych, takimi jak BigQuery, Dataflow, Dataproc, Pub/Sub, Dataplex i Cloud Przechowywanie, eksploracja nowoczesnych koncepcji pozyskiwania, przechowywania, transformacji, analizy i koordynacji danych.
Szkolenie obejmuje demonstracje, laboratoria praktyczne i scenariusze z życia wzięte, które pomagają uczestnikom w budowaniu skalowalnych potoków, optymalizacji wydajności i wdrażaniu solidnych architektur danych. cloud.
Kurs inżynierii danych w Google Cloud Zalecane dla:
• inżynierowie danych, którzy budują lub zarządzają procesami w cloud
• specjaliści Big Data migracja do ekosystemu Google Cloud
• administratorzy baz danych i specjaliści ETL
• inżynierowie analityki pracujący z BigQuery
• profesjonaliści przygotowujący się do certyfikacji Inżynier danych, w ramach oficjalnej trasy Google Cloud
Na zakończenie kursu Inżynieria danych w Google CloudUczestnicy będą mogli:
• projektowanie skalowalnych systemów przetwarzania danych w GCP
• tworzenie potoków wsadowych i strumieniowych przy użyciu usług Google Cloud
• wdrażać modele danych i przepływy kompleksowe
• obsługiwać systemy danych, koncentrując się na niezawodności, bezpieczeństwie i kosztach
• stosować najlepsze praktyki w zakresie automatyzacji, orkiestracji i optymalizacji
- podstawowa znajomość SQL
- zalecane: doświadczenie w języku programowania (Python, Java, itp.)
- zrozumienie podstawowych koncepcji cloud
Moduł 01 – Zadania i komponenty inżynierii danych
- rola inżyniera danych
• źródła danych kontra odbiorniki danych
• formaty danych
• Opcje przechowywania danych Google Cloud
• zarządzanie metadanymi
• udostępnianie zestawów danych Analytics Hub
Laboratorium: Ładowanie danych do BigQuery
Moduł 02 – Replikacja i migracja danych
- architektura replikacji i migracji
• Gcloud CLI
• przenoszenie zestawów danych
• Strumień danych i przypadki użycia
Laboratorium: PostgreSQL → Replikacja BigQuery z Datastream
Moduł 03 – Wzorzec potoku ekstrakcji i ładowania (EL)
- Architektura EL
• interfejs wiersza poleceń bq
• Usługa przesyłania danych BigQuery
• BigLake jako alternatywa dla EL
Laboratorium: BigLake Qwik Start
Moduł 04 – Wyodrębnij, załaduj i przekształc wzór (ELT)
- Architektura ELT
• Skrypty SQL i harmonogramowanie w BigQuery
• Formularz danych
Laboratorium: Utwórz i wykonaj przepływ pracy SQL w Dataform
Moduł 05 – Ekstrakcja, transformacja i ładowanie wzorca (ETL)
- Architektura ETL
• Narzędzia graficzne w Google Cloud
• przetwarzanie wsadowe z Dataproc
• przetwarzanie strumieniowe – opcje
• Bigtable w potokach danych
Laboratoria:
• Dataproc Serverless dla Spark → Załaduj BigQuery
• Panel przepływu danych w czasie rzeczywistym Pipeline
Moduł 06 – Techniki automatyzacji
- wzorce automatyzacji
• Cloud Harmonogram i przepływy pracy
• Cloud Komponować
• Cloud Uruchom funkcje
• Eventarc
Laboratorium: Cloud Uruchom funkcje → Załaduj BigQuery
Moduł 07 – Wprowadzenie do inżynierii danych
- rola inżyniera danych
• wyzwania inżynierii danych
• wprowadzenie do BigQuery
• jeziora danych kontra magazyny danych
• zarządzanie, dostęp i współpraca
• studium przypadku
Laboratorium: Korzystanie z BigQuery do analizy
Moduł 08 – Budowanie jeziora danych
- architektura jeziora danych
• opcje przechowywania i ETL
• Cloud Magazyn jako główne jezioro danych
• bezpieczeństwo Cloud Dyski
• używać Cloud SQL
Laboratorium: Ładowanie danych taksówki do Cloud SQL
Moduł 09 – Budowanie magazynu danych
- nowoczesna architektura magazynu danych
• BigQuery – koncepcje, ładowanie danych
• badanie schematów
• pola zagnieżdżone i powtarzane
• partycjonowanie i klastrowanie
Laboratoria:
• Obsługa JSON i tablic w BigQuery
• Partycjonowane tabele w BigQuery
Moduł 10 – Wprowadzenie do budowy rurociągów wsadowych
- EL / ELT / ETL
• jakość danych
• wykonywanie operacji w BigQuery
Demo: ELT w celu poprawy jakości danych
Moduł 11 – Wykonaj Spark w Dataproc
- Ekosystem Hadoop
• uruchamianie obciążeń w Dataproc
• używać Cloud Przechowywanie zamiast HDFS
• Optymalizacja Dataproc
Laboratorium: Uruchamianie zadań Spark w Dataproc
Moduł 12 – Przetwarzanie danych bezserwerowe z wykorzystaniem Dataflow
- wprowadzenie do Dataflow
• agregacje, wejścia boczne, okienkowanie
• Przepływ danych SQL i szablony
Laboratoria:
• Prosty przepływ danych Pipeline
• MapReduce w Beam
• Wejścia boczne
Moduł 13 – Zarządzanie rurociągami za pomocą Cloud Fuzja danych i Cloud Komponować
- tworzenie wizualnych kanałów za pomocą Data Fusion
• Wrangler – eksploracja i transformacja danych
• orkiestracja z Cloud Komponować
• Przepływ powietrza: DAG-i, operatorzy, przepływy pracy
Laboratoria:
• Buduj i wykonuj Pipeline w fuzji danych
• Wprowadzenie do Cloud Komponować
Moduł 14 – Wprowadzenie do przetwarzania strumieniowego danych
- koncepcje przesyłania strumieniowego
• Narzędzia GCP do strumieniowania
Moduł 15 – Bezserwerowe przesyłanie komunikatów z wykorzystaniem metody Pub/Sub
- Pub/Sub push vs pull
• publikowanie za pomocą kodu
Laboratorium: Publikuj przesyłane strumieniowo dane w Pub/Sub
Moduł 16 – Funkcje przesyłania strumieniowego przepływu danych
- wyzwania związane ze streamingiem
• okienkowanie, opóźnienie, wyzwalacze
Laboratorium: Przesyłanie strumieniowe danych Pipelines
Moduł 17 – Przesyłanie strumieniowe BigQuery i Bigtable o wysokiej przepustowości
- przesyłanie strumieniowe w BigQuery + pulpity nawigacyjne
• pobieranie danych o dużej przepustowości do Bigtable
• Optymalizacja Bigtable
Laboratoria:
• Analityka strumieniowa i pulpity nawigacyjne
• Przesyłanie strumieniowe do Bigtable
Moduł 18 – Zaawansowana funkcjonalność i wydajność BigQuery
- funkcje okna analitycznego
• Funkcje GIS
• Optymalizacja BigQuery
Laboratorium: Optymalizacja zapytań BigQuery
Uwaga: Harmonogram może ulec zmianie w zależności od przydzielonego trenera. Aby uzyskać ostateczną wersję, prosimy o kontakt z zespołem. Bittnet Training.
- Uczenie maszynowe w Google Cloud – 5 dni
- Wprowadzenie do sztucznej inteligencji i uczenia maszynowego w Google Cloud – 1 dzień
Kursy te rozszerzają wiedzę inżyniera danych o obszary uczenia maszynowego i sztucznej inteligencji, istotne dla zaawansowanych projektów opartych na BigQuery ML, Dataflow ML i modelach niestandardowych.
Kurs jest częścią oficjalnej ścieżki certyfikacji Professional Data Engineer i stanowi bazę wiedzy rekomendowaną przez Google. Cloud do tej roli.
Najczęściej zadawane pytania dotyczące kursu Inżynieria danych w Google Cloud
W jaki sposób kurs „Inżynieria danych w Google” przyczynia się do Cloud„zwiększenia zwrotu z inwestycji (ROI) w organizacji?
Szkolenie inżynierów danych w Google Cloud Optymalizuje zarządzanie dużymi strumieniami danych, automatyzuje przetwarzanie i wydobywa cenne wnioski. Zmniejsza to koszty błędów ręcznych, przyspiesza realizację projektów analitycznych i wspiera podejmowanie decyzji biznesowych opartych na danych, co przekłada się na znaczny zwrot z inwestycji (ROI) dzięki efektywności operacyjnej i szybszemu podejmowaniu decyzji strategicznych.
Dlaczego szkolenie z zakresu BigQuery jest niezbędne dla firm, które wykorzystują dane?
BigQuery oferuje petabajtową przestrzeń dyskową i analitykę po przewidywalnych kosztach. Firmy, które opanują BigQuery, mogą przekształcać duże wolumeny danych w praktyczne wnioski bez konieczności ogromnych inwestycji w infrastrukturę, redukując całkowity koszt posiadania (TCO) i maksymalizując zwrot z inwestycji w analitykę.
Jak Google optymalizuje Cloud Pipelinedane i jaki mają wpływ na koszty?
Pipeline-dane zarządzane w Google Cloud Umożliwiają automatyczne i skalowalne przetwarzanie danych. Automatyzacja eliminuje powtarzające się zadania i związane z nimi błędy, redukując koszty operacyjne i czas rozwoju, co przekłada się na bezpośrednie korzyści finansowe.
Jaką rolę odgrywa Dataflow w transformacji i integracji danych i jak wpływa na zwrot z inwestycji (ROI)?
Dataflow oferuje ujednolicone przetwarzanie strumieniowe i wsadowe z automatycznym skalowaniem. Zmniejsza to złożoność architektury i potrzebę koordynacji między różnymi narzędziami, co przekłada się na niższe koszty operacyjne i krótszy czas reakcji w projektach związanych z danymi.
W jaki sposób kurs wspiera praktyczne wdrażanie ETL/ELT w Google Cloud?
Kurs koncentruje się na technikach ekstrakcji, transformacji i ładowania danych przy użyciu natywnych narzędzi, takich jak Dataflow i Dataprep, które umożliwiają zespołom tworzenie ekonomicznych i skalowalnych potoków, eliminując silosy danych i zwiększając wartość danych dla przedsiębiorstwa.
Jak to zmniejsza Cloud Koszty przechowywania danych na dużą skalę?
Cloud Pamięć masowa oferuje trwałe, skalowalne rozwiązanie i niski koszt użytkowania. Ta elastyczność pozwala organizacjom optymalizować budżety na nieaktywne lub rzadko używane dane poprzez skuteczną politykę archiwizacji, obniżając całkowity koszt posiadania (TCO) i maksymalizując wykorzystanie zasobów.
Jakie korzyści przynosi integracja Dataproc w przetwarzaniu Hadoop/Spark i jak wpływa ona na wydajność?
Dataproc umożliwia klastrom Hadoop i Spark uruchamianie na żądanie przy niskich kosztach i szybkim skalowaniu. Eliminuje to potrzebę ciągłego zarządzania klastrem i minimalizuje tradycyjne koszty infrastruktury, zapewniając znaczne oszczędności i elastyczność w działaniu. big data.
Jak wiedza z zakresu bezpieczeństwa i zarządzania pomaga w inżynierii danych w Google Cloud?
Wdrożenie dobrych praktyk bezpieczeństwa i zarządzania zapewnia ochronę wrażliwych danych i zgodność z przepisami. Zmniejsza to ryzyko kar finansowych, utraty reputacji i kosztownych incydentów, chroniąc przychody i zapewniając ciągłość działania w sposób efektywny kosztowo.
Dlaczego możliwość optymalizacji kosztów przetwarzania i przechowywania danych jest ważna w projektach związanych z danymi?
Optymalizacja kosztów przetwarzania i przechowywania danych jest kluczowa dla zarządzania budżetami IT. Dobrze przygotowane zespoły mogą wdrażać strategie optymalizacji, które obniżają miesięczne wydatki bez uszczerbku dla wydajności, co przekłada się na wzrost rentowności i długoterminowego zwrotu z inwestycji (ROI).
W jaki sposób szkolenie z inżynierii danych w Google Cloud przyspieszyć innowacje w organizacji?
Umiejętności z zakresu inżynierii danych pozwalają organizacjom strategicznie wykorzystywać dane, generując analizy predykcyjne, optymalizując operacje i tworząc innowacyjne produkty cyfrowe. Ta zwinność w generowaniu analiz konkurencyjnych przekłada się na wzrost przychodów i trwałą przewagę konkurencyjną.
Dlaczego widzę tę stronę?
Ta strona została zwrócona w wyniku wyszukiwania w Google haseł takich jak: inżynieria danych cloud, certyfikowany inżynier danych zawodowych Google, inżynier danych GCP, Google cloud inżynier danych, Google cloud profesjonalny inżynier danych, Google cloud Certyfikowany inżynier danych zawodowych, profesjonalny inżynier danych Google, inżynier danych Google, certyfikowany inżynier danych Google, profesjonalny inżynier danych, profesjonalny inżynier danych GCP, inżynier danych Google, Google cloud certyfikowany inżynier danych, profesjonalny inżynier danych Google, inżynier danych GCP, Google cloud database inżynier, inżynieria danych w Google cloud platforma, gcp cloud inżynier danych, certyfikowany profesjonalny inżynier danych, Google cloud platforma inżyniera danych, inżynier danych w Google, inżynieria danych w Google cloud, profesjonalny inżynier danych Google cloudinżynier GCP, inżynier danych z certyfikatem GCP, GCP dla inżynierów danych, inżynieria danych z Google cloud platforma, profesjonalny inżynier danych gcp, inżynieria danych w Google cloud specjalizacja platformy, inżynier danych Google cloud, cloud inżynier danych gcp, certyfikowany profesjonalny inżynier danych gcp, inżynieria danych z gcp, inżynier uczenia maszynowego danych google, google database inżynier, profesjonalny inżynier danych w Google cloud platforma, inżynieria danych w gcp, oficjalna strona Google cloud certyfikowany profesjonalny inżynier danych, cloud Inżynier danych Google, inżynier danych Google cloud, inżynieria danych Google cloud Platforma, big data Inżynier Google lub inny.
