Senior Data Engineer - IT Contracting

Warszawa (mazowieckie)

Umowa o pracę

Praca zdalna

Zakres obowiązków

Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks.
Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake.
Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych.
Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold.
Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych.
Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania.
Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości.
Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych.
Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych.
Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych.
Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów.
Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań

Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.
Bardzo dobra znajomość Azure Databricks.
Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.
Znajomość Delta Lake i architektury Lakehouse.
Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.
Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.
Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.
Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.
Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).
Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.
Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.
Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.
Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.
Bardzo dobra znajomość języka angielskiego.

Mile widziane:

Doświadczenie z Databricks Workflows oraz Databricks Jobs.
Znajomość Delta Live Tables lub Lakeflow.
Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.
Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.

Stawka do 34 EUR/h
Praca w pełni zdalna
Start projektu: 1 listopada
Długoterminowy projekt do 31.10.2027
Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych
Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse
Umowa B2B via Michael Page

Administratorem danych osobowych jest Michael Page Finance & Human Resources 40-007 Katowice Uniwersytecka 13, NIP: 5252345586. Moje dane osobowe przetwarzane są w celu rekrutacji przez Administratora. Wiem, że przysługują mi następujące prawa: prawo żądania dostępu do swoich danych, prawo do ich sprostowania, prawo do usunięcia danych, prawo do ograniczenia przetwarzania, prawo do wniesienia sprzeciwu oraz prawo do przenoszenia danych. Więcej informacji na temat przetwarzania danych osobowych, znajduje się w Polityce Prywatności Administratora.
Wyrażam zgodę na przetwarzanie moich danych osobowych przez Michael Page Finance & Human Resources 40-007 Katowice Uniwersytecka 13, NIP: 5252345586 zawartych w załączonych dokumentach aplikacyjnych (w tym wizerunku), na potrzeby bieżącej rekrutacji. Zgoda jest dobrowolna i może być w każdym czasie wycofana. Dodatkowo wyrażam zgodę na przetwarzanie moich danych osobowych zawartych w załączonych dokumentach aplikacyjnych (w tym wizerunku), na potrzeby przyszłych rekrutacji przez okres 12 miesięcy. Zgoda jest dobrowolna i może być w każdym czasie wycofana.