Microsoft DP-203 – Data Engineering on Microsoft Azure

Acest curs înlocuiește cursurile DP-200 Implementing an Azure Data Solution și DP-201 Designing an Azure Data Solution care au fost retrase de Microsoft.

Azure Data Engineers integrează, transformă și consolidează datele din diverse sisteme de date structurate și nestructurate pentru a crea soluții de analiza a datelor.

În acest curs participanții vor învăța despre modele de gestionare a datelor și practici potrivite pentru a lucra cu soluții de analiză în timp real a datelor în volume mari utilizând tehnologiile de platforme de date Azure.

Cursanții vor începe prin a înțelege principiile de bază ale tehnologiilor de gestionare și stocare a datelor care sunt folosite pentru a dezvolta o soluție de analiză a datelor. Apoi vor învăța cum să stabilească o strategie pentru prelucrarea datelor din fișierele sursă.

Studenții vor învăța cum să exploreze interactiv datele stocate în fișiere de tip data lake. De asemenea, ei vor învăță cum să monitorizeze și să evalueze performanța sistemului de analiză a datelor pentru a-l optimiza.

În final, participanții vor ști cum să gestioneze un sistem de analiză a datelor pentru a crea panouri de control și pentru a construi modele predictive utilizând Azure Synapse Analytics.

Cui i se adresează?

Cui i se adresează?

Acest curs este în principal pentru data architects și business intelligence professionals care își doresc să învețe să construiască soluții de analiză a datelor utilizând tehnologiile de platformă de date care există în Microsoft Azure.

Certificarea de Azure Data Engineer ce poate fi primită în urma promovării examenului DP-203 se potrivește celor care se ocupă cu:

– managementul bazelor de date și a securității lor

– evaluarea performanței și optimizarea soluțiilor de interdependență a bazelor de date

Ce vei învăța?

Ce vei învăța?

  • Să explorați opțiunile de calcul și stocare pentru fluxurile de lucru de inginerie a datelor în Azure
  • Să înțelegeți considerentele legate de ingineria datelor
  • Să executați interogări interactive utilizând bazine SQL fără server
  • Să explorați, transformați și încărcați date în Depozitul de date utilizând Apache Spark
  • Să explorați și să transformați datele în Azure Databricks
  • Să analizați și să optimizați stocarea depozitelor de date
  • Să efectuați securitatea end-to-end cu Azure Synapse Analytics
  • Să efectuați procesarea fluxului de date în timp real cu Stream Analytics
  • Să construiți rapoarte utilizând integrarea Power BI cu Azure Synpase Analytics
  • Să efectuați procese integrate de învățare automată în Azure Synapse Analytics

Cerințe preliminare:

Cerințe preliminare:

Studenții de succes încep acest curs cu o înțelegere a ce presupune cloud computing și o experiență profesională cu soluții de analiză a datelor.

Sunt recomandate și completarea cursurilor

  • AZ-900 – Azure Fundamentals
  • DP-900 – Microsoft Azure Data Fundamentals

Agenda cursului:

Materialele de curs sunt în limba Engleză. Predarea se face în limba Română.

Agenda cursului:

Materialele de curs sunt în limba Engleză. Predarea se face în limba Română.

Agenda Cursului

Modulul 1: Explorați opțiunile de calcul și stocare pentru sarcinile de lucru în ingineria datelor

În acest modul participanții vor obține o prezentare generală a opțiunilor de tehnologii Azure de calcul și stocare a datelor. Cursanții vor învăța cum să proceseze, să filtreze și să împartă datele în categorii. Vor învăța cum să creeze indexări de seturi de date precum cele de tip CSV, JSON și Parquet și să le folosească pentru a accelera diferite procese în cadrul organizației.

Modulul 2: Proiectarea și implementarea stratului de servire

In acest modul cursanții vor învăța cum să planifice și să implementeze data stores într-un data warehouse modern pentru a optimiza procesele analitice.

Modulul 3: Considerații privind ingineria datelor pentru fișierele sursă

Acest modul explorează considerentele de inginerie a datelor care sunt comune atunci când studenții încarcă date într-un data warehouse modern din fișierele stocate într-un Azure Data Lake și înțelegerea elementelor de securitate asociate cu stocarea fișierelor în data lake.

Modulul 4: Rulați interogări interactive utilizând Azure Synapse Analytics serverless SQL pools

În acest modul, cursanții vor învăța să lucreze cu fișiere stocate în data lake și surse de fișiere externe, prin declarații T-SQL executate de un serverless SQL pool în Azure Synapse Analytics. Veți explora fișierele Parchet stocate într-un data lake, precum și fișiere CSV stocate într-un depozit de date extern. Apoi, veți crea grupuri de securitate Azure Active Directory și veți impune accesul la fișierele din data lake prin Role-Based Access Control (RBAC) și Access Control Lists (ACLs)

Modulul 5: Explorați, transformați și încărcați date în Depozitul de date folosind Apache Spark

În cadrul acestui modul cursanții vor învăța să exploreze datele stocate într-un data lake, să transforme datele și să le încarce într-un depozit de date relațional. Studenții vor explora fișierele Parquet și JSON și vor folosi tehnici pentru interogarea și transformarea fișierelor JSON cu structuri ierarhice.

Modulul 6: Explorarea și transformarea datelor în Azure Databricks

În acest modul cursanții vor învăța să utilizeze diverse metode Apache Spark DataFrame pentru a explora și transforma datele în Azure Databricks. Participanții vor învăța să efectueze metode standard DataFrame pentru a explora și transforma datele. De asemenea, vor învăța să efectueze sarcini mai avansate, precum eliminarea datelor dublate, manipularea valorilor dată/oră, redenumirea coloanelor și agregarea datelor.

Modulul 7: Importați și încărcați date în data warehouse

În acest modul cursanții vor învăța să importe date în data warehouse prin scripturi T-SQL și conducte de integrare Synapse Analytics.

Modulul 8: Transformarea datelor cu Azure Data Factory sau Azure Synapse Pipelines

Acest modul îi învață pe cursanți să construiască conducte de integrare a datelor pentru a importa date din mai multe surse, pentru a transforma datele utilizând fluxurile de date de mapare și pentru a transfera date într-una sau mai multe data sinks.

Modulul 9: Orchestrați transferul și transformarea datelor în conductele Azure Synapse

În acest modul participanții vor învăța să creeze servicii legate și să organizeze transferul și transformarea datelor utilizând blocnotesuri în Azure Synapse Pipelines.

Modulul 10: Optimizați performanța interogării cu SQL pools dedicate în Azure Synapse

În acest modul, cursanții vor învăța strategii pentru a optimiza stocarea și procesarea datelor atunci când utilizează SQL pools dedicate în Azure Synapse Analytics. Studentul va ști să utilizeze caracteristicile dezvoltatorului precum funcțiile windowing și HyperLogLog, să utilizeze cele mai bune practici de încărcare a datelor și să optimizeze și să îmbunătățească performanța evaluării datelor.

Modulul 11: Analizați și optimizați stocarea depozitelor de date

În acest modul, participanții vor învăța să analizeze, apoi să optimizeze stocarea datelor din bazinele SQL dedicate din Azure Synapse

Modulul 12: Sprijină Hybrid Transactional Analytical Processing (HTAP) cu Azure Synapse Link

În acest modul, cursanții vor explora cum Azure Synapse Link permite conectivitatea perfectă a unui cont Azure Cosmos DB la un spațiu de lucru Synapse. Studenții vor învăța să activeze și să configureze link-ul Synapse, apoi să interogheze magazinul analitic Azure Cosmos DB folosind Apache Spark și SQL serverless.

Modulul 13: Securitate end-to-end cu Azure Synapse Analytics

În acest modul, cursanții vor învăța să securizeze un spațiu de lucru Synapse Analytics și infrastructura sa de suport. Studenții vor explora SQL Active Directory Admin, vor gestiona regulile de IP firewall. Ei vor organiza secretele cu Azure Key Vault, pe care le vor accesa printr-un serviciu conectat la Key Vault și activitățile de pe pipeline.

Modulul 14: Procesarea fluxului de date în timp real cu Stream Analytics

În acest modul, elevii vor învăța să importe și să proceseze datele în timp real utilizând funcții de windowing în Azure Stream Analytics. În cele din urmă, studentul va învăța să scaleze activitatea Stream Analytics pentru a crește eficiența.

Modulul 15: Creați o soluție de procesare a fluxului de date cu Event Hubs și Azure Databrick

În acest modul, cursanții vor învăța caracteristicile cheie și utilizările streaming-ului structurat. Până la finalul modulului studenții se va conecta la Hub-uri de evenimente pentru a citi și a scrie fluxuri.

Modulul 16: Construiți rapoarte utilizând integrarea Power BI cu Azure Synpase Analytics

În acest modul, cursanții vor învăța să integreze Power BI cu spațiul lor de lucru Synapse pentru a construi rapoarte în Power BI. Participanții vor crea o nouă sursă de date și un raport Power BI în Synapse Studio.

Modulul 17: Efectuați procese integrate de învățare automată în Azure Synapse Analytics

Acest modul explorează experiența integrată, end-to-end Azure Machine Learning și Azure Cognitive Services în Azure Synapse Analytics. Cursanții vor învăța să conecteze un spațiu de lucru Azure Synapse Analytics la un spațiu de lucru Azure Machine Learning utilizând un serviciu legat și apoi să declanșeze un experiment ML automat care utilizează date dintr-un tabel Spark.

Recomandăm să continui cu:

Recomandăm să continui cu:

DP-050 Migrate SQL workloads to Azure

DP-060 Migrate NoSQL workloads to Azure Cosmos DB

DP-070 Migrate Open Source Data Workloads to Azure

Programe de certificare

Programe de certificare

Acest curs îi pregătește pe studenți pentru susținerea examenului Microsoft DP-203. La promovarea lui, studentul va primi certificarea de Microsoft Certified Azure Data Engineer Associate.

Examenul DP-203 înlocuiește examenele DP-200 și DP-201. Examenele DP-200 și DP-201 nu vor mai fi disponibile începând cu Iunie 2021.

Microsoft DP-203 – Data Engineering on Microsoft Azure

Microsoft DP-203: Data Engineering on Microsoft Azure

Detalii curs

Durată

4
zile

Preț

1000 EUR

Modalități de livrare

Predare în clasă, Clasă hibridă, Clasă virtuală

Nivel de specializare

3. Intermediate