Square One Resources Sp. z o.o.

Data Platform Engineer (Kafka/Streaming)

wygasa za 30 dni (do )
  • Warszawa, mazowieckie

Umowa o pracę

Pełny etat

Podobne oferty pracy

Jesteśmy Square One Resources – Twoim zaufanym partnerem w dziedzinie technologii informatycznych i doradztwa IT. Nasza historia zaczęła się w 1995 roku w Warszawie i od tego czasu nieustannie rozwijamy nasze kompetencje, aby łączyć świat biznesu ze specjalistami IT. Jesteśmy dumni z tego, że nasz zespół, liczący 11–50 pracowników, oraz ponad 850 konsultantów na całym świecie, z których 490+ działa w Polsce, codziennie wprowadza innowacje i najlepsze praktyki w branży. Specjalizujemy się w rekrutacji IT, outsourcingu IT oraz Managed Services. Nasze usługi, takie jak body leasing i team leasing, są dostosowane do indywidualnych potrzeb naszych klientów, a nasza międzynarodowa obecność pozwala na działanie na szeroką skalę. Jesteśmy zespołem kreatywnych, zwinnych i elastycznych profesjonalistów, którzy cenią sobie uczciwość i rzetelność w informowaniu o możliwościach rozwoju kariery. Nasze wartości są odzwierciedleniem naszej kultury organizacyjnej i są kluczowe w budowaniu długotrwałych relacji zarówno z klientami, jak i pracownikami. Wierzymy, że dzięki naszemu podejściu możemy nie tylko odpowiadać na bieżące potrzeby rynku, ale także przewidywać przyszłe trendy i dostosowywać się do nich. Jesteśmy dumni z tego, co osiągnęliśmy, ale jeszcze bardziej ekscytuje nas przyszłość i możliwości, które przed nami stoją. Dziękujemy, że jesteście częścią naszej podróży i zapraszamy do współpracy, aby razem tworzyć lepsze jutro w świecie IT.

Data Platform Engineer (Kafka/Streaming)


Twój zakres obowiązków

  • Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
  • Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
  • Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
  • Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
  • Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
  • Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
  • Konfiguracja i rozwój konektorów Kafka Connect.
  • Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
  • Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
  • Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
  • Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
  • Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
  • Dzielenie się wiedzą – warsztaty, dokumentacja, code review.

Nasze wymagania

  • Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
  • Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.
  • Biegła znajomość Kafka Streams, kSQL.
  • Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).
  • Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).
  • Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.
  • Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.
  • Podstawowa znajomość formatu tabel i zarządzania metadanymi.
  • Znajomość Javy, Pythona
  • Znajomość Prometheus, Grafana oraz OpenTelemetry.
  • Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.
  • Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.



Aplikuj

Podobne oferty pracy

Dodana
Wygasa (za 30 dni)

Chcesz dowiedzieć się więcej o firmie?

Zobacz profil pracodawcy

Polecani pracodawcy