Data Platform Engineer

Dołącz do zespołu, który rozwija i utrzymuje nowoczesne rozwiązania analityczne dla serwisów digital w branży medialnej. Pracujemy nad budową skalowalnego ekosystemu danych w oparciu o technologie cloud-native (AWS) i podejście data-driven.Szukamy osoby, która będzie odpowiadać za rozwój i utrzymanie platformy do zarządzania metadanymi oraz jakością danych – łącząc kompetencje inżynierskie z obszarem Data Governance.

Tryb pracy: zdalny + onboarding w Warszawie

Data Platform Engineer

Twój zakres obowiązków

• Implementacja, konfiguracja i utrzymanie platformy do zarządzania metadanymi oraz środowiska Data Quality
• Integracja platformy z lakehouse, hurtownią danych oraz systemami źródłowymi i narzędziami analitycznymi
• Automatyzacja procesów ingestu metadanych, data lineage, monitoringu jakości danych oraz raportowania DQ
• Tworzenie i utrzymanie metamodelu oraz mechanizmów egzekwowania reguł jakości danych
• Rozwój integracji pomiędzy narzędziami Data Quality i Metadata Management
• Monitorowanie stabilności, wydajności i bezpieczeństwa środowiska
• Współpraca z zespołami Data Engineering, Data Governance oraz biznesem przy wdrażaniu standardów i rozwiązań
• Tworzenie dokumentacji technicznej oraz wsparcie użytkowników

Nasze wymagania

• Min. 3–5 lat doświadczenia jako Data Engineer / Data Platform Engineer lub podobnie
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT) w środowisku produkcyjnym
• Bardzo dobra znajomość Python (API, automatyzacja, integracje)
• Bardzo dobra znajomość SQL
• Doświadczenie w pracy z AWS
• Znajomość CI/CD oraz GitHub
• Doświadczenie w implementacji mechanizmów jakości danych (walidacje, testy danych, monitoring)
• Znajomość integracji systemowych (REST API, GraphQL lub podobne)
• Rozumienie obszarów: Data Governance, Metadata Management, Data Lineage, Data Quality
• Samodzielność i dobra organizacja pracy
• Angielski min. B2
• Doświadczenie z narzędziami Data Catalog / Metadata Management (np. DataHub, Apache Atlas, Amundsen)
• Znajomość narzędzi Data Quality (np. Great Expectations, Soda, Deequ)
• Doświadczenie z architekturą event-driven
• Udział w projektach open-source
• Doświadczenie w środowisku z procesami Data Governance lub Master Data Management

Aplikuj