СберTechLead-python разработчик (GigaData)
офис, гибрид, Москва
Команда строит end-to-end пайплайны сбора качественных данных для обучения передовых моделей ИИ. Роль отвечает за архитектуру и разработку высокопроизводительных распределённых систем краулинга и руководит командой инженеров, чтобы обеспечить надёжную доставку данных в продакшен
ГрейдLead
Опытот 7 лет
Стек
PythonPostgreSQLKafkaKubernetesClickHouseRedisDockerTerraformHTTP/3QUICeBPFio_uring
Задачи
- •Определять техническую стратегию и целевую архитектуру системы
- •Проектировать масштабируемые распределённые системы: шардирование и геораспределение
- •Проектировать и поддерживать end-to-end пайплайны URL discovery → fetch → parse → deduplicate → store → deliver
- •Разрабатывать критичные высокопроизводительные компоненты (планировщик, URL-фронтир, дедупликация) и проводить performance engineering
- •Оптимизировать прокси-инфраструктуру и маршрутизацию трафика, внедрять HTTP/3, QUIC, eBPF, io_uring и стратегии FinOps
- •Руководить командой 3–6 инженеров: планирование, менторинг, Code Review, 1-1 и взаимодействие со смежными командами
Обязательно
- •коммерческий опыт разработки на Python от 7 лет
- •не менее 2 лет в роли техлида/тимлида
- •экспертиза в проектировании распределённых высоконагруженных систем
- •глубокое понимание сетевого стека (TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC)
- •практический опыт построения масштабных систем краулинга или data acquisition
- •опыт асинхронного и параллельного программирования и event-driven архитектур
- •опыт с Kubernetes, Docker, Terraform, CI/CD и базами/системами Kafka/Redis/PostgreSQL/ClickHouse
Будет плюсом
- •знание Go, Rust или C++ для высокопроизводительных компонентов
- •опыт работы с io_uring, eBPF и zero-copy networking
- •опыт построения геораспределённых систем
- •опыт работы в компаниях с масштабным краулингом (поисковые системы, data aggregators)
- •применение ML для оптимизации crawl-стратегий и публичные выступления/публикации
