ЯндексML-аналитик в команду LLM-спецпроектов Алисы
офис, гибрид
Команда LLM-спецпроектов Алисы ищет ML-аналитика для оценки и улучшения поведения языковых моделей. Будете запускать процессы разметки, строить пайплайны оценки и анализировать экспериментальные метрики в двух новых проектах, влияя на качество ответов для реальных пользователей.
Стек
Pythonscikit-learnpandasNumPyNLTKspaCyLLM-as-a-JudgeLLM
Задачи
- •Анализ ответов моделей и выявление типов ошибок
- •Оценка и сравнение версий моделей по ключевым метрикам
- •Построение и поддержка процессов разметки и подготовки датасетов
- •Разработка evaluation-пайплайнов и применение статистических тестов для проверки гипотез
- •Написание аналитических скриптов на Python для обработки больших текстовых наборов
- •Участие в prompt engineering и context engineering для улучшения поведения агентов
Обязательно
- •Уверенное владение Python и опыт работы с данными
- •Опыт работы с текстовыми данными или задачами NLP
- •Знание базовых статистических методов и проведение статистических тестов
- •Умение анализировать метрики качества моделей и проверять гипотезы
- •Опыт подготовки и структурирования датасетов и контроля качества разметки
- •Внимательность к деталям и способность работать с большими объёмами текстовых данных
- •Умение разбираться в сложных системах и находить причины ошибок моделей
Будет плюсом
- •Опыт работы с LLM или генеративными моделями
- •Опыт управления процессом разметки и качество контроля аннотаций
- •Опыт построения evaluation-пайплайнов для моделей
- •Понимание принципов работы современных LLM
