Data Engineer

Dołącz do nas i weź udział w rozwoju nowoczesnej platformy danych opartej o architekturę Data Lakehouse. Szukamy doświadczonego Data Engineera / Analytics Engineera, który nie tylko świetnie czuje się w Databricks, ale również lubi pracę blisko biznesu – tłumaczenie potrzeb analitycznych na rozwiązania techniczne będzie kluczowym elementem tej roli.

To stanowisko dla osoby, która chce mieć realny wpływ na to, jak dane są modelowane, przetwarzane i wykorzystywane przez organizację.

Pracujemy zdalnie, mile widziane sporadyczne wizyty w Warszawie.

Data Engineer

Twój zakres obowiązków

• projektowanie i rozwój rozwiązań w architekturze Data Lakehouse (Databricks),
• tworzenie, optymalizacja i utrzymanie jobów danych w PySpark / Spark SQL,
• integracja danych z wielu źródeł (API, batch, streaming),
• modelowanie danych (modele konceptualne, logiczne i fizyczne) oraz ich implementacja w Databricks,
• ścisła współpraca z biznesem i analitykami w celu zrozumienia potrzeb raportowych i analitycznych,
• udział w ustalaniu standardów jakości danych, schematów i ich ewolucji,
• wdrażanie i rozwój procesów ETL / ELT w dużej skali,
• praca z Delta Lake, Unity Catalog, Delta Live Tables,
• rozwój i utrzymanie procesów CI/CD dla rozwiązań danych,
• dbanie o wydajność, skalowalność i bezpieczeństwo przetwarzania danych w chmurze.

Nasze wymagania

• doświadczenie w pracy z Data Lakehouse architecture,
• bardzo dobra znajomość Databricks, w tym:
• Delta Lake,
• Unity Catalog,
• Jobs, Workflows, Clusters, Notebooks,
• Asset Bundles, Repos,
• zaawansowana znajomość PySpark / Python Spark (tworzenie i optymalizacja jobów),
• bardzo dobra znajomość SQL, w tym optymalizacja zapytań w Databricks,
• doświadczenie z Delta Live Tables,
• praktyka w integracji danych z różnych źródeł (API, streaming, batch),
• doświadczenie w pracy w chmurze (Azure lub AWS),
• bardzo dobra znajomość koncepcji ETL / ELT oraz Big Data,
• praktyczna znajomość CI/CD (GitLab CI, GitHub Actions, Azure DevOps),
• doświadczenie w pracy z Unity Catalog, Delta Tables i zarządzaniu schematami danych,
• umiejętność odwzorowywania modeli danych (conceptual / logical / physical),
• znajomość najlepszych praktyk schema management, schema evolution i versioning.
• optymalizacja kosztów i wydajności w Databricks,
• testowanie i monitoring jobów danych (np. Great Expectations, logging, alerting),
• znajomość MLflow,
• doświadczenie z Airflow lub innym orkiestratorem zadań,
• udział w projektach migracji danych do Databricks,
• znajomość data lineage, data quality, data governance, Data Contracts,
• doświadczenie w pracy z danymi wrażliwymi i zasadami bezpieczeństwa danych,
• znajomość Terraform / Infrastructure as Code.

Aplikuj