Ez a kurzus megtanítja, hogyan aknázhatod ki az Apache Spark és a platform nagy kapacitású klasztereinek erejét. Azure Databricks komplex adatmérnöki feladatok futtatásához cloudBemutatjuk a streamelt feldolgozási architektúrákat, automatizált folyamatokat valósítunk meg, és megértjük, hogyan optimalizálható a teljesítmény a Delta Live Tables használatával. Ezenkívül megtanuljuk az adatfolyamatok összehangolását és monitorozását a következőkön keresztül: Azure Databricks-feladatok, irányítási és biztonsági intézkedések alkalmazása az adatokra, valamint a Databricks integrálása más szolgáltatásokkal Azure.
A tanfolyam ajánlott:
- Adatmérnökök, akik nagyméretű adatfeldolgozási megoldásokat fejlesztenek.
- Adattudósok, akiknek használniuk kell Azure Databricks nagy adathalmazok előkészítéséhez és feldolgozásához.
- ELT fejlesztők, akik komplex adatfolyamatokat valósítanak meg cloud.
- Szakemberek, akik szeretnék megtanulni, hogyan szervezzék, biztosítsák és optimalizálják az adatfolyamatokat Azure Databricks.
A kurzus elvégzése után tudni fogod, hogyan:
- Inkrementális folyamatok megvalósítása Spark Structured Streaming használatával.
- Fejlesszen streamelési architektúrákat a Delta Live Tables segítségével.
- Optimalizálja az adatfeldolgozási feladatok teljesítményét a Spark és a Delta Live Tables táblákban.
- CI/CD munkafolyamatok létrehozása és kezelése a következőben: Azure Databricks.
- Automatizálja és hangolja össze az adatfolyamokat Azure Databricks-állások és Azure Adatgyár.
- Kezelje az adatbiztonságot, az adatvédelmet és az irányítást az Unity Catalog segítségével.
- SQL Warehouse-okat használsz a következőben: Azure Databricks relációs lekérdezésekhez.
- fut Azure Databricks jegyzetfüzetek Azure Data Factory az adatmérnöki folyamatok skálázásához.
Nincsenek előfeltételek.
- Inkrementális feldolgozás Spark Structured Streaminggel
- Bevezetés a Spark strukturált streamelésébe
- Inkrementális folyamatok megvalósítása és monitorozása
- Architektúrák streamelése Delta Live Tables segítségével
- Valós idejű adatokhoz készült architektúra modellek
- Delta élő táblák használata streamelési folyamatokhoz
- Teljesítmény optimalizálása Spark és Delta élő táblázatokkal
- Végrehajtás-optimalizálási stratégiák a Sparkban
- Az adatfolyamatok teljesítményének növelése
- CI/CD munkafolyamatok megvalósítása Azure Adattárak
- Folyamatos integráció és szállítás
- Kód és folyamatok telepítésének automatizálása
- Feladatok automatizálása a következővel: Azure Databricks-állások
- Feladatok létrehozása és ütemezése itt: Azure Adattárak
- Integráció a Azure Adatgyár és Azure DevOps
- Monitoring és skálázási folyamatok
- Adatkezelés és biztonság Azure Adattárak
- Unity Catalog és adathozzáférés-vezérlés
- Adatvédelem és megfelelőség kezelése
- SQL Warehouse-ok használata Azure Adattárak
- Relációs SQL lekérdezések nagy adathalmazokon
- Az elemzés optimalizálása SQL Warehouse-okon keresztül
- Databricks Notebookok futtatása Azure Data Factory
- Jegyzetfüzetek integrálása adatfolyamatokba
- Adatmérnöki folyamatok nagy léptékű automatizálása cloud
- Microsoft DP-3011: Adatanalitikai megoldás megvalósítása Azure Adattárak
- Microsoft DP-3012: Adatanalitikai megoldás megvalósítása Azure Szinapszis elemzés
- Microsoft DP-500: Vállalati szintű analitikai megoldások tervezése és megvalósítása Microsoft Azure és a Microsoft Power BI
Jelenleg nincsenek tanúsítási programok.
