Senior Data Engineer – Microsoft Fabric / Azure

Dołącz do zespołu realizującego strategiczne projekty danych dla lidera branży ubezpieczeniowej w Polsce. Poszukujemy Data Engineera / Senior Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów przetwarzania danych, integrację różnorodnych źródeł oraz budowę niezawodnych pipeline’ów w środowisku Microsoft Fabric / Azure. Rola łączy pracę z Pythonem (PySpark), SQL, Data Factory oraz architekturą danych z odpowiedzialnością za jakość, bezpieczeństwo, wydajność i odpowiednie wersjonowanie danych. Projekt realizowany jest w środowisku o wysokich wymaganiach dotyczących bezpieczeństwa i audytowalności. Praca w modelu hybrydowym w Warszawie – 1 dzień w tygodniu z biura.

Senior Data Engineer – Microsoft Fabric / Azure

Twój zakres obowiązków

• projektowanie i implementacja pipeline’ów danych w Data Factory,
• tworzenie i rozwój notebooków PySpark w Microsoft Fabric,
• integracja i onboarding różnorodnych źródeł danych – zarówno plikowych, jak i bazodanowych,
• przeprowadzanie technicznej walidacji danych i standaryzacja ich formatów,
• tworzenie transformacji oraz przygotowywanie danych wsadowych,
• implementacja reguł Data Quality oraz mechanizmów identyfikowania i raportowania błędów,
• wersjonowanie zbiorów danych oraz zapisywanie metadanych dotyczących przebiegu procesów, źródeł i parametrów,
• rozwój rozwiązań zgodnie z dobrymi praktykami Git, CI/CD oraz code review,
• współpraca z zespołami biznesowymi, w tym obszarem Ryzyka, przy definiowaniu reguł transformacji danych,
• dbanie o zgodność przetwarzania danych z wymaganiami dotyczącymi prywatności i bezpieczeństwa,
• integracja standardów bezpieczeństwa organizacji ze środowiskiem Azure,
• optymalizacja procesów danych pod kątem wydajności i kosztów.

Nasze wymagania

• minimum 3 lat komercyjnego doświadczenia jako Data Engineer przy rozwiązaniach produkcyjnych,
• bardzo dobrej znajomości Python/PySpark oraz SQL i doświadczenia w pracy z dużymi zbiorami danych,
• praktycznego doświadczenia z Microsoft Fabric, Azure Synapse lub Databricks,
• doświadczenia w projektowaniu i rozwijaniu pipeline’ów przetwarzania danych,
• znajomości architektury medalionowej (Medallion Architecture) lub podobnego podejścia do warstwowej organizacji danych,
• praktycznej znajomości formatów Delta / Parquet,
• doświadczenia w integracji danych pochodzących z różnych źródeł – w tym baz danych oraz plików,
• doświadczenia w przetwarzaniu plików Excel dostarczanych przez użytkowników biznesowych,
• praktycznej znajomości Git i pracy z repozytorium w zespole,
• znajomości dobrych praktyk związanych z jakością, bezpieczeństwem i przetwarzaniem danych,
• gotowości do pracy hybrydowej w Warszawie – minimum 1 dzień w tygodniu z biura.
• certyfikat Microsoft DP-600 lub DP-700,
• doświadczenie w sektorze finansowym, ubezpieczeniowym lub innym środowisku o wysokich wymaganiach audytowych,
• znajomość języka R,
• praktyczne doświadczenie z CI/CD dla platform danych,
• doświadczenie z frameworkami i rozwiązaniami Data Quality,
• doświadczenie w pracy w środowisku Agile / Scrum.

Aplikuj