СберNLP Engineer (GigaChat Pretrain)
Москва
Команда готовит pretrain‑датасеты для GigaChat и GigaChat Vision. Вы будете формировать синтетические и визуальные данные, исследовать токенизацию и кластеризацию миллиардов документов и строить инфраструктуру для массовых экспериментов, что напрямую влияет на качество LLM
ГрейдJunior/Middle
Опыт1–3 года
Стек
Synthetic data generationTokenization researchHTML parsingClustering billions of documentsData infrastructure for experimentsMapReduce
Задачи
- •Генерация синтетических текстовых данных (математика, код, прочая синтетика с сидами)
- •Исследование токенизации и её влияния на качество модели
- •Кластеризация миллиардов документов
- •Генерация Vision-данных для VLM
- •Разработка парсеров HTML и изучение их влияния на качество моделей
- •Разработка и поддержка инфраструктуры для сотен/тысяч экспериментов над данными
Обязательно
- •коммерческий релевантный опыт в NLP или в построении data‑инфраструктуры от двух лет
- •умение работать с большими объёмами данных и экспериментами
- •навыки исследовательской работы с текстовыми данными
- •умение формализовать и проверять гипотезы о качестве данных
Будет плюсом
- •опыт работы с генеративными AI-моделями и созданием AI-агентов
- •опыт использования GigaChat, Kandinsky и аналогов в продуктах
- •инструментальное владение AI для анализа, генерации и автоматизации
- •опыт с MapReduce системами
