Data Engineering auf Google Cloud

Dieser Data Engineering on Google-Kurs Cloud Der 4-tägige Kurs bietet eine umfassende Schulung für die Planung, den Bau und den Betrieb von Datenverarbeitungssystemen auf Google Cloud Plattform (GCP)Die Teilnehmer werden mit wichtigen Datenverarbeitungsdiensten wie BigQuery, Dataflow, Dataproc, Pub/Sub, Dataplex und Cloud Speicherung, Erforschung moderner Konzepte der Datenerfassung, -speicherung, -transformation, -analyse und -orchestrierung.

Das Training umfasst Demonstrationen, praktische Übungen und realitätsnahe Szenarien, die die Teilnehmer beim Aufbau skalierbarer Pipelines, der Leistungsoptimierung und der Implementierung robuster Datenarchitekturen unterstützen. cloud.

An wen ist es gerichtet?

Data-Engineering-Kurs bei Google Cloud Es wird empfohlen für:
• Dateningenieure, die Pipelines erstellen oder verwalten in cloud
• Spezialisten Big Data Migration zum Google-Ökosystem Cloud
• Datenbankadministratoren und ETL-Spezialisten
• Analyseingenieure, die mit BigQuery arbeiten
• Fachkräfte, die sich auf die Zertifizierung vorbereiten Professioneller Dateningenieurinnerhalb der offiziellen Google-Route Cloud

Was wirst du lernen?

Am Ende des Kurses „Data Engineering on Google“ CloudDie Teilnehmer werden in der Lage sein:
• Entwurf skalierbarer Datenverarbeitungssysteme in GCP
• Erstellen von Batch- und Streaming-Pipelines mithilfe von Google-Diensten Cloud
• Datenmodelle und End-to-End-Abläufe implementieren
• Datensysteme mit Fokus auf Zuverlässigkeit, Sicherheit und Kosten betreiben
• Anwendung bewährter Verfahren für Automatisierung, Orchestrierung und Optimierung

Voraussetzungen:

  • Grundkenntnisse in SQL
  • Empfohlen: Erfahrung in einer Programmiersprache (Python, Java usw.).
  • die grundlegenden Konzepte verstehen cloud

Kursplan:

Die Kursmaterialien sind auf Englisch. Der Unterricht findet auf Rumänisch statt.

Modul 01 – Aufgaben und Komponenten der Datenverarbeitung

  • die Rolle eines Dateningenieurs
    • Datenquellen vs. Datensenken
    • Datenformate
    • Google-Speicheroptionen Cloud
    • Metadatenverwaltung
    • Freigabe von Datensätzen mit Analytics Hub
    Lab: Daten in BigQuery laden

Modul 02 – Datenreplikation und Migration

  • Replikations- und Migrationsarchitektur
    • Gcloud CLI
    • Verschieben von Datensätzen
    • Datenstrom und Anwendungsfälle
    Lab: PostgreSQL → BigQuery-Replikation mit Datastream

Modul 03 – Pipeline-Muster „Extrahieren & Laden“ (EL)

  • EL-Architektur
    • bq CLI
    • BigQuery-Datenübertragungsdienst
    • Big Lake als Alternative zu EL
    Lab: BigLake Schnellstart

Modul 04 – Muster „Extrahieren, Laden & Transformieren“ (ELT)

  • ELT-Architektur
    • SQL-Skripterstellung und Terminplanung in BigQuery
    • Datenformular
    Lab: Erstellen und Ausführen eines SQL-Workflows in Dataform

Modul 05 – Muster extrahieren, transformieren und laden (ETL)

  • ETL-Architektur
    • GUI-Tools in Google Cloud
    • Stapelverarbeitung mit Dataproc
    • Streaming-Verarbeitung – Optionen
    • Bigtable in Datenpipelines
    Labs:
    • Dataproc Serverless für Spark → BigQuery laden
    • Echtzeit-Datenfluss-Dashboard Pipeline

Modul 06 – Automatisierungstechniken

  • Automatisierungsmuster
    • Cloud Terminplaner und Arbeitsabläufe
    • Cloud Komponieren
    • Cloud Funktionen ausführen
    • Eventarc
    Lab: Cloud Funktionen ausführen → BigQuery laden

Modul 07 – Einführung in die Datenverarbeitung

  • die Rolle des Dateningenieurs
    • Herausforderungen im Bereich Data Engineering
    • Einführung in BigQuery
    • Data Lakes vs. Data Warehouses
    • Governance, Zugang und Zusammenarbeit
    • Fallstudie
    Lab: BigQuery für die Analyse nutzen

Modul 08 – Aufbau eines Data Lakes

  • Data-Lake-Architektur
    • Speicher- und ETL-Optionen
    • Cloud Speicherung als zentraler Datensee
    • Sicherheit Cloud Lagerung
    • verwenden Cloud SQL
    Lab: Laden von Taxidaten in Cloud SQL

Modul 09 – Aufbau eines Data Warehouse

  • moderne Data-Warehouse-Architektur
    • BigQuery – Konzepte, Datenladen
    • Erkundung von Programmen
    • verschachtelte und wiederholte Felder
    • Partitionierung & Clustering
    Labs:
    • JSON- und Array-Verarbeitung in BigQuery
    • Partitionierte Tabellen in BigQuery

Modul 10 – Einführung in die Erstellung von Batch-Pipelines

  • EL / ELT / ETL
    • Datenqualität
    • Ausführen von Operationen in BigQuery
    Demo: ELT zur Verbesserung der Datenqualität

Modul 11 ​​– Spark auf Dataproc ausführen

  • Hadoop-Ökosystem
    • Ausführen von Workloads auf Dataproc
    • verwenden Cloud Speicher anstelle von HDFS
    • Dataproc-Optimierung
    Lab: Ausführen von Spark-Jobs auf Dataproc

Modul 12 – Serverlose Datenverarbeitung mit Dataflow

  • Einführung in Dataflow
    • Aggregationen, Seiteneingaben, Fensterung
    • SQL-Datenfluss und Vorlagen
    Labs:
    • Einfacher Datenfluss Pipeline
    • MapReduce in Beam
    • Seitliche Eingänge

Modul 13 – Pipelines verwalten mit Cloud Datenfusion & Cloud Komponieren

  • Erstellung visueller Pipelines mit Datenfusion
    • Wrangler – Datenexploration und -transformation
    • Orchestrierung mit Cloud Komponieren
    • Luftstrom: DAGs, Bediener, Arbeitsabläufe
    Labs:
    • Aufbau & Ausführung Pipeline in der Datenfusion
    • Einführung zu Cloud Komponieren

Modul 14 – Einführung in die Streaming-Datenverarbeitung

  • Streaming-Konzepte
    • GCP-Tools für Streaming

Modul 15 – Serverlose Nachrichtenübermittlung mit Pub/Sub

  • Pub/Sub Push vs Pull
    • Veröffentlichung per Code
    Lab: Streaming-Daten in Pub/Sub veröffentlichen

Modul 16 – Datenfluss-Streaming-Funktionen

  • Streaming-Herausforderungen
    • Fensterung, Latenz, Trigger
    Lab: Streaming-Daten Pipelines

Modul 17 – Hochdurchsatz-Streaming von BigQuery und Bigtable

  • Streaming in BigQuery + Dashboards
    • Hochdurchsatz-Datenerfassung in Bigtable
    • Bigtable-Optimierung
    Labs:
    • Streaming-Analysen und Dashboards
    • Streaming in Bigtable

Modul 18 – Erweiterte BigQuery-Funktionalität und -Performance

  • analytische Fensterfunktionen
    • GIS-Funktionen
    • BigQuery-Optimierung
    Lab: Optimierung von BigQuery-Abfragen

Kein: Der Zeitplan kann je nach zugewiesenem Trainer angepasst werden. Die endgültige Version erhalten Sie vom Team. Bittnet Training.

Wir empfehlen, fortzufahren mit:

Diese Kurse erweitern die Ausbildung eines Data Engineers um die Bereiche maschinelles Lernen und KI und sind relevant für fortgeschrittene Projekte, die auf BigQuery ML, Dataflow ML und benutzerdefinierten Modellen basieren.

Zertifizierungsprogramme

Der Kurs ist Bestandteil des offiziellen Zertifizierungspfads für den Professional Data Engineer und stellt die von Google empfohlene Lerngrundlage dar. Cloud für diese Stelle.

Häufig gestellte Fragen zum Kurs „Data Engineering auf Google“ Cloud

Welchen Beitrag leistet ein Kurs zum Thema „Datenverarbeitung bei Google“? Cloud„zur Steigerung des ROI in einem Unternehmen?“

Ausbildung von Dateningenieuren bei Google Cloud Es optimiert die Verwaltung großer Datenströme, automatisiert die Verarbeitung und gewinnt wertvolle Erkenntnisse. Dadurch werden die Kosten manueller Fehler reduziert, die Umsetzung von Analyseprojekten beschleunigt und datengestützte Geschäftsentscheidungen unterstützt. Dies führt zu einem signifikanten ROI durch operative Effizienz und schnellere strategische Entscheidungen.

Warum ist eine BigQuery-Schulung für datengetriebene Unternehmen unerlässlich?

BigQuery bietet Speicherkapazität im Petabyte-Bereich und Analysefunktionen zu planbaren Kosten. Unternehmen, die BigQuery beherrschen, können große Datenmengen ohne massive Infrastrukturinvestitionen in verwertbare Erkenntnisse umwandeln, die Gesamtbetriebskosten senken und den ROI ihrer Analyseinvestitionen maximieren.

Wie Google optimiert Cloud PipelineDaten und welche Auswirkungen haben sie auf die Kosten?

Pipeline-Datenverwaltung in Google Cloud Die automatisierte und skalierbare Datenverarbeitung wird ermöglicht. Durch diese Automatisierung werden sich wiederholende Aufgaben und damit verbundene Fehler eliminiert, wodurch Betriebskosten und Entwicklungszeit reduziert werden, was direkte finanzielle Vorteile mit sich bringt.

Welche Rolle spielt Dataflow bei der Datentransformation und -integration und wie wirkt sich das auf den ROI aus?

Dataflow bietet einheitliche Verarbeitung für Streaming- und Batch-Daten mit automatischer Skalierung. Dies reduziert die architektonische Komplexität und den Koordinationsaufwand zwischen unterschiedlichen Tools, was zu geringeren Betriebskosten und schnelleren Reaktionszeiten für Datenprojekte führt.

Wie der Kurs die praktische Anwendung von ETL/ELT bei Google unterstützt Cloud?

Der Kurs konzentriert sich auf Techniken zur Datenextraktion, -transformation und -ladung unter Verwendung nativer Tools wie Dataflow und Dataprep. Dies ermöglicht es Teams, kosteneffiziente und skalierbare Pipelines aufzubauen, Datensilos zu beseitigen und den Wert der Daten für das Unternehmen zu steigern.

Wie wird es reduziert? Cloud Speicherkosten für großflächige Datenspeicherung?

Cloud Der Speicher bietet dauerhafte, skalierbare Speicherkapazität und Kosten pro Nutzung. Diese Flexibilität ermöglicht es Unternehmen, Budgets für inaktive oder selten genutzte Daten durch effektive Archivierungsrichtlinien zu optimieren, die Gesamtbetriebskosten zu senken und die Ressourcennutzung zu maximieren.

Welche Vorteile bietet die Dataproc-Integration für die Hadoop/Spark-Verarbeitung und wie wirkt sie sich auf die Effizienz aus?

Dataproc ermöglicht den bedarfsgerechten Betrieb von Hadoop- und Spark-Clustern mit geringen Kosten und schneller Skalierung. Dadurch entfällt die Notwendigkeit einer kontinuierlichen Clusterverwaltung und die Kosten herkömmlicher Infrastrukturen werden minimiert, was zu erheblichen Einsparungen und mehr Flexibilität in Ihrem Betrieb führt. big data.

Wie Sicherheits- und Governance-Kenntnisse bei der Datenverarbeitung bei Google helfen Cloud?

Die Implementierung bewährter Sicherheits- und Governance-Praktiken gewährleistet den Schutz sensibler Daten und die Einhaltung gesetzlicher Bestimmungen. Dadurch werden das Risiko von Bußgeldern, Reputationsschäden und kostspieligen Vorfällen reduziert, die Einnahmen gesichert und die Geschäftskontinuität kosteneffizient gewährleistet.

Warum ist die Möglichkeit, Verarbeitungs- und Speicherkosten zu optimieren, bei Datenprojekten wichtig?

Die Optimierung der Verarbeitungs- und Speicherkosten ist für die Verwaltung von IT-Budgets unerlässlich. Gut vorbereitete Teams können Optimierungsrichtlinien implementieren, die die monatlichen Ausgaben senken, ohne die Leistung zu beeinträchtigen. Dies steigert die Rentabilität und den langfristigen ROI.

Wie kann man bei Google eine Data-Engineering-Schulung absolvieren? Cloud um Innovationen im Unternehmen zu beschleunigen?

Data-Engineering-Kompetenzen ermöglichen es Unternehmen, Daten strategisch zu nutzen und so prädiktive Analysen, operative Optimierungen und innovative digitale Produkte zu generieren. Diese Agilität bei der Gewinnung wettbewerbsfähiger Erkenntnisse führt zu höheren Umsätzen und einem nachhaltigen Wettbewerbsvorteil.

Warum wird mir diese Seite angezeigt?

Diese Seite wird aufgrund Ihrer Suchanfragen angezeigt, die Begriffe wie „Data Engineering“ bei Google enthalten. cloudGoogle-zertifizierter professioneller Dateningenieur, GCP-Dateningenieur, Google cloud Dateningenieur bei Google cloud professioneller Dateningenieur bei Google cloud Zertifizierter professioneller Dateningenieur, Google professioneller Dateningenieur, Google Data Engineer, Google Certified Data Engineer, professioneller Dateningenieur, GCP professioneller Dateningenieur, Dateningenieur bei Google, Google cloud Zertifizierter Data Engineer, professioneller Data Engineer bei Google, Data Engineer GCP, Google cloud database Ingenieur, Datenverarbeitung bei Google cloud Plattform, GCP cloud Data Engineer, zertifizierter professioneller Data Engineer, Google cloud Plattform-Dateningenieur, Dateningenieur bei Google, Datenentwicklung mit Google cloudprofessioneller Dateningenieur bei Google cloudGCP-Ingenieur, GCP-zertifizierter Dateningenieur, GCP für Dateningenieure, Datenentwicklung mit Google cloud Plattform, professioneller Dateningenieur (GCP), Datenengineering bei Google cloud Plattformspezialisierung, Dateningenieur bei Google cloud, cloud Data Engineer GCP, GCP-zertifizierter professioneller Data Engineer, Data Engineering mit GCP, Google Data Machine Learning Engineer, Google database Ingenieur, professioneller Dateningenieur bei Google cloud Plattform, Datenverarbeitung in GCP, offizielle Google-Plattform cloud zertifizierter professioneller Dateningenieur, cloud Google-Dateningenieur, Google-Dateningenieur cloud, Datenentwicklung Google cloud Plattform, big data Google-Ingenieur oder andere.

Data Engineering auf Google Cloud

Personalisierte Angebote für Gruppen ab 2 Personen

Kursdetails

Dauer:

4
Tage

Preis:

Auf Anfrage

Lieferung:

Präsenzunterricht, Hybrid-Klassenzimmer, virtuelles Klassenzimmer

Stufe:

2. Mittelstufe

Rollen:

Datenanalysten, Cloud Ingenieur, Dateningenieur Database Spezialist