Big Data Engineer

Poszukujemy doświadczonego Senior Big Data Engineera do realizacji projektu związanego z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure.

Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning.

📍 Tryb Współpracy: 100% zdalnie

⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 14 dniową dostępnością

🔹 Zakres usług

• Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure.

• Optymalizacja procesów przetwarzania danych w Apache Spark (DataFrame API, Spark SQL) pod kątem wydajności, stabilności i niezawodności.

• Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych.

• Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania.

• Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD.

• Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning.

• Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych.

• Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu.

🔹 Wymagania

• Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior.

• Bardzo dobra znajomość SQL oraz modelowania danych.

• Zaawansowana znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz optymalizacji wydajności.

• Praktyczne doświadczenie w wykorzystaniu Pythona w obszarze Data Engineering.

• Doświadczenie w projektowaniu, budowie i optymalizacji pipeline’ów ETL/ELT.

• Znajomość przetwarzania dużych zbiorów danych ustrukturyzowanych i częściowo ustrukturyzowanych.

• Praktyczna znajomość architektury Data Lake, w tym Parquet, Delta Lake i partycjonowania danych.

• Doświadczenie z platformami chmurowymi, w szczególności Microsoft Azure.

• Znajomość Git oraz procesów CI/CD.

• Podstawowa znajomość statystyki, analizy danych i mechanizmów kontroli jakości danych.

• Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności rozwiązań.

• Umiejętność współpracy z interesariuszami technicznymi i biznesowymi.

🔹 Mile widziane

• Doświadczenie z Azure Databricks.

• Doświadczenie w projektach wykorzystujących Machine Learning.

📍 Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.

TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)