Senior Data Engineer

Model pracy: zdalnie

Stawka: 160 pln/h netto +VAT B2B

Wprowadzenie

Szukamy Senior Data Engineera z platformowym podejściem, który zaprojektuje i rozwinie skalowalne pipeline'y w Databricks z użyciem Pythona i PySpark. Ta rola łączy pracę nad przepływami danych z odpowiedzialnością za jakość, wydajność i skalowalność całego rozwiązania. Będziesz współpracować z biznesem i zespołami technicznymi przy dostarczaniu data products.

Responsibilities

• Projektowanie, rozwój i optymalizacja skalowalnych pipeline'ów danych w Databricks

• Integracja i transformacja danych z różnych źródeł

• Rozwój i utrzymanie warstwy analitycznej oraz powiązanego ekosystemu

• Współpraca z biznesem i zespołami technicznymi przy dostarczaniu data products

• Dbanie o modularność, reużywalność, wydajność i jakość rozwiązań

• Branie odpowiedzialności za jakość i skalowalność dostarczanych rozwiązań

Key Requirements

• Minimum 3 lata doświadczenia w software lub data engineering

• Praktyczna znajomość Pythona

• Doświadczenie z Databricks i PySpark

• Umiejętność projektowania skalowalnych i modułowych rozwiązań danych

• Bardzo dobra znajomość języka angielskiego

• Mile widziane doświadczenie na poziomie senior lub tech lead

Będzie dodatkowym atutem

• Doświadczenie z Azure

• Znajomość Medallion Architecture

• Terraform i podejście Infrastructure as Code (IaC)

• Doświadczenie z MLOps

• Znajomość Kubernetes