ЯндексАналитик-разработчик в Нейроэксперт
офис, гибрид, Санкт-Петербург
Команда Нейроэксперт работает над сервисом ответов на базе Alice AI LLM; вы будете разрабатывать приёмку качества, бенчмарки и метрики для длинного контекста и адаптировать технологию под разные продукты Яндекса, чтобы улучшать качество ответов и обучающие датасеты
ГрейдMiddle/Senior
Стек
PythonLLMSQLToloka
Задачи
- •Разрабатывать и поддерживать приёмку качества сервиса
- •Создавать бенчмарки и метрики для длинного контекста
- •Анализировать результаты и выявлять проблемные срезы
- •Собирать и аннотировать данные для дообучения моделей
- •Взаимодействовать с ML-командой и продуктами Яндекса для адаптации решений
Обязательно
- •Опыт работы с метриками в ML
- •Уверенное владение Python
- •Уверенное владение SQL
- •Опыт работы с текстовыми данными и анализ точек роста
- •Знание теории вероятностей и математической статистики
- •Интерес к LLM и желание глубже в них погрузиться
Будет плюсом
- •Опыт работы с LLM
- •Опыт крауд-разметки, знание Толоки или других краудсорс-платформ
