СберPretrain Data LLM Researcher (GigaChat)
Москва
Команда ML отвечает за качество претрейн-данных фронтирной модели GigaChat. Вы будете вести программу экспериментов с данными, собирать и фильтровать корпуса, генерировать синтетику и измерять влияние изменений данных на метрики модели, используемой миллионами пользователей
ГрейдSenior
Стек
PythonPyTorchSparkKubernetesDaskAirflow
Задачи
- •Вести программу экспериментов с данными
- •Планировать и запускать ablation-эксперименты по смесям, фильтрам и порядку данных
- •Оптимизировать смесь и порядок использования данных для претрейна
- •Измерять качество данных, строить классификаторы отбора документов
- •Проводить дедупликацию, фильтрацию и очистку корпусов на масштабе
- •Генерировать синтетические данные и собирать траектории для agentic-pretrain
Обязательно
- •сильная экспериментальная практика и умение формулировать гипотезы
- •прочные основы ML и статистики, культура контролируемого эксперимента
- •уверенный Python
- •опыт обучения моделей на PyTorch или аналогах
- •понимание цикла обучения LLM: токенизация, scaling laws, влияние состава данных
- •знакомство с распределённой обработкой данных (Spark, Dask, Airflow, Kubernetes)
Будет плюсом
- •опыт работы именно с LLM и их претрейн-пайплайнами
- •участие в открытых data-проектах (FineWeb, OLMo, Dolma)
- •опыт работы с очень большими корпусами (триллионы токенов)
