Data Engineer Databricks Developer

Data Engineer (Databricks)

Oferujemy

• Model współpracy: 100% zdalna (z możliwością pracy z biura i okazjonalnymi spotkaniami zespołu)

• Stawka: 120-150 zł/h netto

Obowiązki

• Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.

• Implementacja rozwiązań w językach wykorzystywanych na platformie Databricks (np. PySpark, Spark SQL).

• Optymalizacja wydajności przetwarzania danych i tuning zapytań oraz zadań.

• Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.

• Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.

• Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.

• Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering / Big Data

• Praktycznego, projektowego doświadczenia z Databricks i Apache Spark (preferowane min. 3 lata)

• Znajomości przynajmniej jednego z języków używanych w Databricks: Python, Scala lub SQL

• Praktycznej wiedzy z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych

• Umiejętności optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra

• Dobrych praktyk w zakresie kontroli wersji (Git) i automatyzacji wdrożeń

• Samodzielności w działaniu

• Znajomości języka angielskiego na poziomie C1

Mile widziane

• Doświadczenie w obszarze AI/ML (MLflow, pipeline’y RAG)

• Doświadczenie w projektach dla sektora prawnego, podatkowego lub finansowego