Data Engineer (Дата инженер)

Обязанности:

• Проектирование и реализация ETL/ELT‑конвейеров,
• Интеграция данных из различных источников: API, файлы Excel/CSV, 1С, СУБД,
• Оптимизация процессов и кода,
• Разработка парсинга и автоматизированных RPA‑процессов,
• Обеспечение загрузки, трансформации и обновления данных,
• Настройка мониторинга и логирования пайплайнов,
• Работа с контейнерами, CI/CD, Git‑репозиториями.

Требования:

Python:

• Отличное владение pandas, numpy, sqlalchemy,
• опыт написания чистого, оптимизированного кода и автоматизации (скрипты + RPA),
• работа с API, парсинг (web scraping).

SQL & Базы данных:

• PostgreSQL, MS SQL Server — создание хранимых процедур, функций, триггеров,
• Опционально: MySQL, Oracle, MariaDB, FireBird, SQLite,
• NoSQL: MongoDB, CouchDB и др.

Data-инструменты:

• Apache Airflow,
• Airbyte,
• Pentaho DI,
• dbt.

Инфраструктура и DevOps:

• Linux‑среда (Ubuntu/CentOS etc.),
• Docker, настройка контейнеров,
• Базовые DevOps: CI/CD, мониторинг, логгирование.

Системы контроля версий:

• Git — опыт командной работы, ветвление, пулл‑реквесты.

Будет преимуществом:

• Опыт работы с облачными платформами (AWS/GCP/Azure),
• Опыт работы с большими массивами данных BigData,
• Знание Kubernetes, опыт работы с CI/CD пайплайнами (Jenkins, GitLab CI/CD),
• Навыки тестирования кода, обеспечение надежности операций.
• Опыт интеграции AI/ML‑решений

Что мы ждём от вас:

• От 3 лет опыта в роли Data Engineer / ETL-разработчика,
• Умение четко формулировать, понимать задачи и доводить их до результата,
• Умение работать в команде,
• Ответственность и пунктуальность в соблюдении сроков,
• Желание развиваться и осваивать новые инструменты и подходы,
• Проактивность и самоорганизация,
• Знание английского на уровне чтения технической документации.