Wildberries & RussData engineer
удалёнка, гибрид, Москва
Команда развивает платформу сбора и передачи данных для регуляторных сценариев TNS. Будете строить и поддерживать надежные потоковые и пакетные пайплайны, обеспечивать полноту, свежесть и воспроизводимость данных при строгих SLA
ГрейдJunior/Middle
Опыт2–4 года
Стек
PythonApache FlinkCassandraKafkaAirflowRedisClickHouseSQLCI/CD
Задачи
- •Разработка и сопровождение потоковых приложений на Flink (дедупликация, идемпотентность, DLQ)
- •Обеспечение полноты и качества потоков: мониторинг lag, дубли, freshness, восстановление данных
- •Развитие batch-пайплайнов в Airflow: DAG-и, bulk-загрузки и регуляторные выгрузки
- •Подключение новых источников: анализ семантики событий, ключей партиционирования и ретенций
- •Участие в on-call: локализация инцидентов, эскалация и постмортемы
Обязательно
- •2–4 года опыта в Data Engineering или backend с переходом в data
- •Уверенный SQL и опыт работы с большими объёмами данных (партиционирование, шардирование)
- •Практический опыт с Kafka (producer/consumer, offsets, replay, DLQ)
- •Python для data-задач и опыт разработки/сопровождения Airflow DAG-ов
- •Умение читать и отлаживать Java-код Flink (checkpointing, backpressure)
- •Опыт с Cassandra или ClickHouse
- •Опыт сопровождения production-пайплайнов, тесты, CI/CD, мониторинг и алерты
Будет плюсом
- •Опыт разработки stateful Flink-пайплайнов
- •Опыт работы с Flink на Python
- •Глубокая экспертиза моделирования данных для Cassandra
