ЯндексИнженер данных в DWH Лавки — RT/NRT и AI‑агенты
офис, Москва
Команда DWH развивает RT/NRT‑контур и связывает его с batch‑хранилищем для поддержки аналитики, операций и AI‑агентов. Вы будете проектировать потоковые и микробатчевые пайплайны, вводить их в промышленную эксплуатацию и обеспечивать качество данных для продуктовых команд.
ГрейдSenior
Стек
PythonApache FlinkGreenplumLogBrokerSQLYQLYTClickHouseDMP SuiteData Quality
Задачи
- •Проектирование и развитие RT/NRT‑поставок данных для продуктовых сценариев
- •Интеграция и синхронизация оперативного и batch‑контуров
- •Проектирование моделей событий, контрактов и правил работы с запаздывающими событиями
- •Ввод решений в промышленную эксплуатацию и мониторинг их работы
- •Развитие инструментов качества данных и оценки работы AI‑агентов
Обязательно
- •Опыт проектирования и эксплуатации промышленных RT/NRT‑пайплайнов
- •Практика разработки в крупном DWH или распределённой платформе
- •Умение проектировать надёжную обработку событийных данных с учётом задержек и повторной обработки
- •Уверенное владение Python и SQL
- •Понимание моделирования данных, качества и наблюдаемости
- •Умение переводить бизнес‑задачи в модели данных и технические решения
- •Опыт использования AI‑агентов в инженерной работе и ответственность за результат поставки данных
Будет плюсом
- •Глубокий практический опыт с Apache Flink
- •Опыт построения lambda‑ или kappa‑архитектуры
- •Запуск платформенных направлений или развитие внутренних data‑продуктов
- •Проектирование data contracts и интеграция нескольких продуктовых систем
- •Разработка проверок и evaluation‑процессов для инженерных AI‑агентов
