Дата инженер

Проектировать и разрабатывать DWH и процессы ETL/ELT:

• собирать данные, из различных источников, такие как: SAP, АСУГТК и т.д.;
• создавать на источнике SAP (ERP, BW) ODP-экстрактор над ним сервис ODATA, обращаться к нему с помощью Airflow, использовать kafka/nifi для транспортировки данных.
• настраивать загрузку данных и их движение между инструментами, создавать пайплайны – процессы движения данных от источника к нужному месту;
• структурировать данные так, чтобы они стали пригодны для аналитики.

Создавать инфраструктуру для контроля качества и стабильности данных:

• очищать данные, убирать дубли и устранять ошибки;
• подготавливать витрины данных и предоставлять доступ аналитикам.

Помогать выстраивать смежные процессы, которые влияют на качество наших данных:

• обнаруживать и описывать происхождение данных;
• обновлять используемые инструменты и искать способы улучшения и автоматизации существующих процессов.

Основной стек, с которым предстоит работать:

• PostgreSQL, Greenplum, Clickhouse.
• AirFlow, Spark, Kafka, NiFi

• Высшее техническое образование. Опыт работы в области построения корпоративного хранилища данных (DWH), управление данными не менее 3 лет.
• Опыт в построении пайплайнов больших данных, в промышленной разработке DWH и процессов ETL/ELT.
• Умение подготавливать витрины данных и решать архитектурные вопросы в области обработки данных.
• Умение выстраивать процессы валидации данных.

Предпочтительно:

• Техническое образование в области data science.
• Наличие опыта работы с open source решениями для построения Data Lakehouse. Опыт в горно-металлургической отрасли.
• Умение выполнять аналитические задачи и исследовать данные.
• Наличие международного сертификата в области Data Science

• Гибридный формат работы.

• Оформление по ТК РК

• Социальный пакет (Мед.страховка, годовой бонус).