Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

• budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,

• projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,

• tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,

• implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,

• rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,

• integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,

• projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,

• tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,

• rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,

• współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,

• analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,

• współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,

• model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,

• budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kompetencje wymagane do realizacji usług:

• doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia),

• dobra znajomość Pythona lub Rusta,

• praktyczna znajomość wektorowych baz danych, w szczególności Qdrant,

• znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych,

• doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API,

• znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub,

• dobra znajomość systemu Linux,

• znajomość relacyjnych baz danych, np. PostgreSQL,

• umiejętność projektowania i rozwijania procesów przetwarzania danych,

• samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.

Mile widziane:

• doświadczenie z Docker, Kubernetes i CI/CD,

• znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub,

• znajomość Apache Airflow, Apache Spark lub Apache Beam,

• doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów,

• znajomość grafowych baz danych, np. Neo4j,

• doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG,

• znajomość FastAPI.

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,

• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,

• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.