Data Engineer

Мы — продуктовая команда в маркетплейсе, где сотни тысячи пользователей ищут и покупают товары всех категорий. Развиваем ключевые сервисы: поиск, рекомендации, алгоритмы ранжирования, push-уведомления, продуктовую аналитику и A/B тестирование. Также мы строим и масштабируем современный data warehouse, чтобы данные были доступны и удобны для всех команд.

Сейчас мы ищем Data Engineer, который будет развивать DWH, строить пайплайны, развивать систему рекомендаций, обеспечивать качество и доступность данных для продуктов и аналитики.

Задачи

• Проектирование и разработка устойчивых ETL/ELT пайплайнов (мы используем Airflow)
• Интеграция данных из различных источников: логи, Kafka, API, базы данных, Rabbit MQ
• Работа с DWH
• Поддержка качества данных: мониторинги, алерты, тесты, SLA
• Оптимизация производительности пайплайнов и запросов
• Тесное взаимодействие с аналитиками, ML-инженерами, backend-разработчиками, продукт менеджерами.

Требования

Обязательные:

• Уверенные знания Python для разработки пайплайнов
• Опыт работы с фреймворками: Airflow, Pandas. NumPy, реляционные, не реляционные БД
• Опыт работы с SQL и понимание принципов построения DWH (star schema, SCD и т.п.)
• Умение работать с большими объёмами данных и понимать особенности их хранения
• Опыт работы от двух лет

Желательные:

• Опыт миграции данных между системами
• Аналитический склад ума
• Опыт в продуктовом / e-commerce бизнесе

Что мы предлагаем

• Влияние на продукт и архитектуру
• Сильную команду
• Гибкий график
• Доступ к реальному влиянию через данные — ваша работа будет влиять на метрики бизнеса