СберTech Lead Go/Python (GigaData)
Москва
Команда отвечает за сбор качественных данных для обучения моделей ИИ. Роль предполагает проектирование и развитие высоконагруженных end-to-end пайплайнов краулинга и инфраструктуры для хранения и доставки данных, критичных для бизнеса
ГрейдLead
Опыт6+ лет
Стек
GoPostgreSQLKafkaKubernetesPythonClickHouseRedisDockerTerraformCI/CD
Задачи
- •Определять техническую стратегию и целевую архитектуру системы
- •Проектировать масштабируемые end-to-end пайплайны краулинга и доставки данных
- •Писать код критичных компонентов: планировщик, фронтир, дедупликация
- •Проводить performance engineering: профилирование, нагрузочное тестирование, устранять bottleneck-ы
- •Оптимизировать сетевую и прокси-инфраструктуру, внедрять HTTP/3, QUIC, eBPF, io_uring
- •Руководить командой 3–6 инженеров: планирование, Code Review, менторинг, 1-1
Обязательно
- •Коммерческий опыт разработки на Python и Go от 7 лет и минимум 2 года в роли техлида/тимлида
- •Экспертиза в проектировании распределённых высоконагруженных систем
- •Глубокое понимание сетевого стека (TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC)
- •Опыт работы с Kafka, Redis, PostgreSQL, ClickHouse
- •Опыт с Kubernetes, Docker, Terraform и CI/CD
- •Навыки глубокого troubleshooting (tcpdump, strace, perf, eBPF-инструменты)
- •Опыт управления командой: планирование, Code Review, менторинг, 1-1
Будет плюсом
- •Знание Rust или C++ для высокопроизводительных компонентов
- •Опыт с io_uring, eBPF и zero-copy networking
- •Опыт работы в масштабном краулинге и геораспределённых системах
- •Применение ML для оптимизации стратегий краулинга
- •Публичные выступления и публикации
