ЯндексАналитик-разработчик для оценки качества моделей в Alice AI
Команда занимается офлайн-оценкой внутренних и внешних LLM на заранее подготовленных наборах запросов; вы будете запускать и поддерживать внутренние инструменты оценки, разбирать сбои в данных и логах и делать процесс воспроизводимым для аналитиков
Стек
внутренние инструменты оценкинаборы запросов для оценкилоги и форматы логовинструменты автоматизации процессоввнутренние надстройки над инфраструктурой прокачкиинструменты для анализа данных
Задачи
- •Запускать и поддерживать внутренние инструменты оценки моделей
- •Прокачивать наборы запросов через инструменты оценки
- •Разбираться в причинах сбоев, анализировать данные и логи для воспроизводимости
- •Развивать надстройки и автоматизации, чтобы другие аналитики могли повторять процессы
- •Формировать понятные баг-репорты и предлагать улучшения процесса оценки
Обязательно
- •быстро разбираться в большом количестве незнакомых инструментов
- •самостоятельно запускать и поддерживать технические процессы оценки
- •ясно описывать проблему и воспроизводить её
- •анализировать данные и логи для поиска причин сбоев
Будет плюсом
- •опыт с инструментами оценки моделей или качеством ответов AI‑систем (v1/chat/completions, LLM-as-a-Judge)
- •опыт автоматизации процессов и поддержки внутренних инструментов для работы с данными
