ЯндексРазработчик бэкенда в команду инфраструктуры рекомендательных систем
офис, гибрид, Москва
Команда инфраструктуры рекомендательных систем развивает высоконагруженные стриминговые сервисы для доставки и инкрементального обновления рекламных профилей и индексов. Роль важна для снижения задержек в ранжировании и обеспечения быстрой подачи данных для дообучения моделей и рантайма.
Стек
C++YTSaurusKafkaFlinkHadoopSparkMapReduce
Задачи
- •Снижать задержки доставки событий до рантайма до минут и секунд
- •Реализовывать стриминговую обработку с оконными join нескольких логов
- •Построение системы для обработки >10 ГБ/с с минутной задержкой
- •Поддержка инкрементального обновления рекламных баз и индексов
- •Разработка компонентов для дообучения нейросетевых моделей на свежих данных
- •Развитие внутреннего фреймворка потоковой обработки данных
Обязательно
- •Опыт разработки на C++ или желание быстро научиться ему в продакшене.
- •Будет плюсом неизвое поле (оставлено для соответствия структуре)???
Будет плюсом
- •Знакомство с YTSaurus
- •Опыт с Hadoop, Spark, Flink
- •Опыт работы с Kafka
- •Понимание MapReduce и миграции пайплайнов в стриминг
- •Опыт многопоточной разработки и оптимизации C++ кода
- •Опыт построения exactly-once систем
