Big Data Engineer

Dołączysz do 12-osobowego zespołu pracującego w metodyce Scrum, odpowiedzialnego za rozwój platform Big Data oraz rozwiązań do przetwarzania danych na dużą skalę. Zespół realizuje zarówno projekty biznesowe, jak i inicjatywy R&D, rozwijając rozwiązania z zakresu streamingu danych oraz wspierając wdrożenia Machine Learning i AI we współpracy z zespołami Data Science.

Na co dzień będziesz uczestniczyć w projektowaniu i budowie nowoczesnych rozwiązań opartych o technologie Big Data oraz wspierać rozwój architektury danych. Przed zespołem również kolejne wyzwania związane z migracją rozwiązań do środowisk chmurowych.

Praca odbywa się w modelu hybrydowym – Warszawa (2 dni w miesiącu w biurze).

Big Data Engineer

Twój zakres obowiązków

• Projektowanie i rozwój rozwiązań Big Data z wykorzystaniem Apache Spark.
• Implementacja oraz rozwój procesów przetwarzania danych wsadowych i strumieniowych.
• Tworzenie oraz rozwój integracji pomiędzy wieloma źródłami danych.
• Współtworzenie architektury rozwiązań przetwarzania danych.
• Współpraca z zespołami Data Science oraz innymi zespołami projektowymi.
• Dbanie o jakość, wydajność i skalowalność przetwarzania danych.
• Udział w projektach związanych z rozwojem środowisk chmurowych.

Nasze wymagania

• Minimum 3 lata doświadczenia w programowaniu z wykorzystaniem Apache Spark (Python lub Scala).
• Praktyczna znajomość Python lub Scala.
• Doświadczenie w pracy z dużymi wolumenami danych.
• Bardzo dobra znajomość SQL.
• Znajomość platform Hadoop (Cloudera lub Hortonworks).
• Doświadczenie w integracji danych z wielu źródeł.
• Praktyczna znajomość formatów danych takich jak JSON, Parquet, ORC oraz AVRO.
• Znajomość technologii wykorzystywanych w środowiskach Big Data (Hive, Kudu, HBase, Iceberg lub podobnych).
• Znajomość dobrych praktyk projektowania, testowania oraz wdrażania rozwiązań Big Data.
• Doświadczenie z Maven lub innymi narzędziami do budowy aplikacji.
• Umiejętność pracy zespołowej oraz komunikacji w środowisku Agile.
• Praktyczne doświadczenie z Apache Kafka (tworzenie producentów i konsumentów, praca z dużymi wolumenami danych, znajomość zagadnień takich jak offset czy lag).
• Znajomość Apache NiFi.
• Doświadczenie z Kubeflow.
• Wiedza z zakresu CI/CD.
• Doświadczenie w projektowaniu architektury rozwiązań Big Data.
• Znajomość Jira oraz Confluence.
• Doświadczenie z platformami chmurowymi GCP lub Azure.

Aplikuj