СберData Acquisition Tech Lead (GigaChat)
Москва
Команда собирает и подготавливает датасеты для обучения языковых моделей. Вы будете развивать масштабируемую инфраструктуру краулинга и пайплайны загрузки, обеспечивающие подачу петабайтов текстов в обучающие конвейеры и повышающие качество обучающих данных
ГрейдLead
Опыт6+ лет
Стек
PythonKubernetesДокументоориентированные базы данныхKey-value базы данныхGoC++HTTP/HTTPSYTSaurus
Задачи
- •Проектирование и развитие масштабируемой инфраструктуры веб-краулинга
- •Развитие пайплайнов загрузки, дедупликации и обогащения метаданными
- •Разработка алгоритмов планирования и приоритизации краулинга
- •Создание и поддержка систем поиска и индексирования корпуса
- •Обеспечение наблюдаемости: метрики, логирование и алертинг
- •Ведение архитектурных обсуждений, code review и менторство команды
Обязательно
- •Высшее образование в CS, математике или смежной области
- •Не менее 6 лет опыта в разработке ПО
- •Не менее 3 лет в создании масштабных распределённых систем
- •Глубокая экспертиза в веб-краулинге/скрейпинге/информационном поиске
- •Уверенное владение Python, Go или C++
- •Опыт работы с Kubernetes или аналогичной оркестрацией контейнеров
- •Опыт с распределёнными системами хранения и key-value или документоориентированными БД
Будет плюсом
- •Опыт работы с YTSaurus
- •Опыт эксплуатации веб-краулеров петабайтного масштаба
- •Бэкграунд в NLP, извлечении текста или определении языка для многоязычных корпусов
- •Опыт менторинга инженеров и неформального лидерства
