Junior BigData Application Inżynier

Poszukujemy Junior Big Data Application Engineera do dołączenia do naszego zespołu Data & AI w Polsce. Osoba na tym stanowisku będzie odpowiedzialna za utrzymanie procesów pobierania danych (data ingestion pipelines) oraz – w miarę możliwości – za ulepszanie i rozwijanie istniejących procesów i aplikacji. Nasze środowiska opierają się na chmurze Azure, Google Cloud oraz komponentach Generative AI, co daje możliwość pracy z najnowszymi technologiami przy jednoczesnym świadczeniu usług dla międzynarodowych klientów i użytkowników biznesowych na całym świecie.

Nasz Główny Stos Technologiczny:
• Azure / Google Cloud, SQL, Python, Databricks, Airflow, bazy danych, Linux, GitHub, Docker, Kubernetes, formaty plików danych, Spark, Azure Machine Learning Studio, Grafana.

Dodatkowy Stos Technologiczny:
• API, Azure Data Factory, Azure DevOps, bazy danych Azure SQL, BigQuery, CI/CD, Cloud Storage, Composer, Crontab, Data Lake Storage, Dataproc, Docker, GitHub, Jira / Confluence, Kubernetes, PubSub, Scala, Transfer Service, Selenium, modele OpenAI i Imagen, metryki Azure i Google Cloud.

Obowiązki:
• Zapewnienie płynnego przepływu danych ze źródeł zewnętrznych na platformach Microsoft Azure lub Google Cloud, tak aby dane były dostępne dla analityków i naukowców danych z wykorzystaniem najnowszych technologii.
• Dostosowywanie aplikacji do zmieniających się oczekiwań klientów oraz aktualizacji ze strony dostawców danych.
• Ciągła optymalizacja wydajności aplikacji i wdrażanie opłacalnych rozwiązań.
• Szybka reakcja na zakłócenia w działaniu, zapewnienie sprawności operacyjnej i oczekiwanych wyników.
• Współpraca z różnorodnymi międzynarodowymi i multikulturowymi zespołami w zakresie dostarczania danych i mikrousług.
• Analiza przyczyn źródłowych problemów, przeprowadzanie dokładnych dochodzeń w razie potrzeby.
• Wsparcie aplikacji wykorzystujących modele Generative AI.
• Rozszerzanie zakresu testów jednostkowych w celu zwiększenia niezawodności kodu.
• Monitorowanie aplikacji za pomocą metryk, dashboardów i alertów, w celu zapewnienia optymalnej wydajności.

Wymagane Umiejętności:
• Silne zdolności analityczne i umiejętność myślenia abstrakcyjnego.
• Biegłość w SQL, Pythonie oraz technologiach bazodanowych.
• Biegła znajomość języka angielskiego i polskiego.
• Doświadczenie z:
o Relacyjnymi i nierelacyjnymi bazami danych.
o Środowiskami opartymi na Linuxie.
o Systemami kontroli wersji i CI/CD.
o Konteneryzacją w środowiskach lokalnych i klastrowych.
o Spark i obliczeniach klastrowych.
o Narzędziami do orkiestracji i harmonogramowania zadań.