Head of Data Engineer/Руководитель направления Дата инженеров

В динамически развивающейся IT компании открыта вакансия Head of Data Engineer/Руководитель направления Дата инженеров.

В связи с расширением деятельности, мы ищем Руководителя направления Data Engineer, желательно со своей командой 2-10 человек.

Если у Вас есть опыт в данном направлении, коммуникации и репутация среди коллег, желание развивать и совершенствовать данное направление, мы ждем Вас!

Если у Вас есть команда, с которыми Вам комфортно работать - сообщите, пожалуста, об этом нам сразу, мы планируем закрыть все вакансии по этому направлению, соответственно, будем рады сформированной и дружной команде.

Обязанности:

Построение потоков данных для хранилища;

Оптимизация выгрузок данных из систем источников;

Реализация трансформаций в целевые модели данных хранилища;

Выгрузка данных в другие системы для дальнейшей обработки;

Реализация сверочных отчетов.

Требования:

Опыт работы в области разработки хранилищ больших данных не менее 2 лет;

Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;

Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;

Опыт работы с ETL/ELT системами (Informaticd, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;

Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;

Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;

Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;

Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);

Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);

Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);

Опыт построения хранилищ для финансового сектора;

Опыт работы с инструментами DataGovernance;

Опыт в области проектирования схемы данных, баз данных и хранилищ;

Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);

Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)