ЯндексРазработчик в группу разработки API YT
офис, гибрид, Москва
Команда ML‑инфраструктуры развивается для обеспечения надёжного и эффективного ввода/вывода данных в YT для масштабных обучений. Вы будете оптимизировать пайплайны чтения/записи, разрабатывать протоколы параллельного чтения и библиотеку для удобной работы ML‑скриптов с YT
Стек
C++PythonArrowYT
Задачи
- •Оптимизация пайплайна чтения и записи данных в YT
- •Разработка и внедрение протокола параллельных чтений для мастера, нод, прокси и клиентских библиотек
- •Профайлинг системы и устранение узких мест производительности
- •Проектирование и разработка удобной библиотечки для использования YT в ML‑коде
Обязательно
- •Разработка сложных систем или библиотек на C++
- •Увлечение задачами оптимизации производительности
- •Знание Python и готовность развивать Python‑часть стека
- •Готовность погружаться в специфику задач ML‑инженеров и создавать удобные инструменты
