Data Platform Engineer (k/m/*)

Square One Resources Sp. z o.o.

wygasa za 30 dni (do 11 mar)

Kraków, małopolskie

Umowa o pracę

Pełny etat

Podobne oferty pracy

Obsługa kasy oraz lady mięsa/wędliny w sklepie spożywczym Kraków (różne lokalizacje)
Work&Profit sp. z o.o.

Kraków
umowa zlecenie
Dodana 9 lutego
Obsługa kasy oraz lady mięsa/wędliny w sklepie spożywczym
Work&Profit sp. z o.o.

Kraków
umowa zlecenie
Dodana 31 stycznia
Wykładanie towaru w sklepie kosmetycznym Kraków (Grzegórzki)
Work&Profit sp. z o.o.

Kraków
umowa zlecenie
Dodana 31 stycznia

Jesteśmy Square One Resources – Twoim zaufanym partnerem w dziedzinie technologii informatycznych i doradztwa IT. Nasza historia zaczęła się w 1995 roku w Warszawie i od tego czasu nieustannie rozwijamy nasze kompetencje, aby łączyć świat biznesu ze specjalistami IT. Jesteśmy dumni z tego, że nasz zespół, liczący 11–50 pracowników, oraz ponad 850 konsultantów na całym świecie, z których 490+ działa w Polsce, codziennie wprowadza innowacje i najlepsze praktyki w branży. Specjalizujemy się w rekrutacji IT, outsourcingu IT oraz Managed Services. Nasze usługi, takie jak body leasing i team leasing, są dostosowane do indywidualnych potrzeb naszych klientów, a nasza międzynarodowa obecność pozwala na działanie na szeroką skalę. Jesteśmy zespołem kreatywnych, zwinnych i elastycznych profesjonalistów, którzy cenią sobie uczciwość i rzetelność w informowaniu o możliwościach rozwoju kariery. Nasze wartości są odzwierciedleniem naszej kultury organizacyjnej i są kluczowe w budowaniu długotrwałych relacji zarówno z klientami, jak i pracownikami. Wierzymy, że dzięki naszemu podejściu możemy nie tylko odpowiadać na bieżące potrzeby rynku, ale także przewidywać przyszłe trendy i dostosowywać się do nich. Jesteśmy dumni z tego, co osiągnęliśmy, ale jeszcze bardziej ekscytuje nas przyszłość i możliwości, które przed nami stoją. Dziękujemy, że jesteście częścią naszej podróży i zapraszamy do współpracy, aby razem tworzyć lepsze jutro w świecie IT.

Szukamy doświadczonego Data Platform Engineer, który zaprojektuje i wdroży nowoczesną platformę danych typu lakehouse w chmurze, integrującą dane z systemów inżynieryjnych i bezpieczeństwa. Platforma będzie przetwarzać dane w wielu warstwach i udostępniać je zarówno do analiz biznesowych, jak i rozwiązań AI.

Data Platform Engineer (k/m/*)

Twój zakres obowiązków

Projektowanie i wdrażanie chmurowej platformy danych typu lakehouse (Bronze/Silver/Gold).
Integracja danych z różnych źródeł, w tym systemów inżynieryjnych i bezpieczeństwa.
Tworzenie i utrzymanie procesów ETL/ELT oraz transformacji danych przy użyciu SQL, Python/Scala i narzędzi takich jak dbt, Databricks SQL czy Dataform.
Projektowanie struktur danych i modeli relacyjnych oraz grafowych, zapewniając wysoką jakość danych i optymalną wydajność zapytań.
Orkiestracja pipeline’ów danych przy użyciu narzędzi takich jak Airflow, Prefect, Dagster, Step Functions lub Azure Data Factory.
Tworzenie infrastruktury jako kod (IaC) przy użyciu Terraform, CloudFormation, Pulumi lub szablonów ARM.
Współpraca z zespołami Data Science, DevOps oraz ds. zgodności, wspierając analitykę i wykorzystanie danych w rozwiązaniach AI.
Rozwiązywanie problemów związanych z jakością danych, optymalizacją zapytań i konfliktami schematów.
Samodzielne proponowanie rozwiązań przy niepełnych wymaganiach i wyjaśnianie technicznych kompromisów (koszt, wydajność, złożoność) interesariuszom nietechnicznym.

Nasze wymagania

7+ lat w rolach zwiazanych z inzynieria danych, w tym co najmniej 2 lata przy budowie architektur lakehouse (Bronze/Silver/Gold lub równowazne wzorce medallion)
Udokumentowane doswiadczenie w dostarczaniu platform danych klasy produkcyjnej
Doswiadczenie z grafowymi bazami danych (Neo4j, Amazon Neptune, TigerGraph) do modelowania relacji
Praktyczne doswiadczenie w przetwarzaniu strumieniowym (Kafka, Flink, Spark Streaming, Kinesis)
Platformy chmurowe: Zaawansowana wiedza z zakresu AWS (S3/Blob, RDS/SQL Database, zarzadzany Kafka, serverless compute)
SQL i modelowanie danych: Ekspercki poziom SQL, modelowanie wymiarowe, SCD2, kompromisy miedzy normalizacja a denormalizacja
Narzedzia transformacyjne: dbt, Databricks SQL, Dataform lub wlasne frameworki SQL/Python
Programowanie: Python lub Scala do przetwarzania danych, skryptów i automatyzacji
Orkiestracja: Airflow, Prefect, Dagster, Step Functions lub Azure Data Factory
IaC (Infrastructure as Code): Terraform, CloudFormation, Pulumi lub szablony ARM
Gotowość do pracy hybrydowej, 2 razy w tygodniu z biura w Krakowie (warunek konieczny)
Wyszukiwanie: OpenSearch, Elasticsearch lub Solr do indeksowania i wyszukiwania tekstu
Grafy: Neo4j Cypher, SPARQL lub Gremlin do zapytan grafowych; doswiadczenie z grafowym ETL
Jakosc danych: Great Expectations, testy dbt lub wlasne frameworki walidacyjne
Przetwarzanie w czasie rzeczywistym: Flink, Spark Streaming lub serverless event processing (Lambda, Cloud Functions)
Monitoring: Grafana, Datadog lub CloudWatch do obserwowalnosci pipeline’ów danych