СберTechLead
Москва
Команда центра компетенций по данным строит платформу ETL Self‑Service: ядро на Scala/Spark, CI/CD и UI для автоматизированной разработки и деплоя пайплайнов. Роль отвечает за архитектуру, надежность платформы и взаимодействие с инфраструктурой и командами‑потребителями данных
ГрейдLead
Стек
ScalaApache SparkApache IcebergKubernetesJavaPythonGroovySQLJenkinsVaultHDFSYARNS3ClickHousePostgreSQLApache FlinkReactCeleryRedisLangChainLlamaIndex
Задачи
- •Спроектировать универсальный ETL‑фреймворк на Scala/Spark
- •Внедрить промышленный CI/CD с многостадийными пайплайнами и авто‑тестированием
- •Организовать безопасную подгрузку секретов из Vault и линтинг пайплайнов
- •Принимать стратегические решения по технологическому стеку и вести миграции
- •Лидировать 3 стрима разработки (UI, CI/CD, Core ETL) и выстроить стандарты Code Review
- •Обеспечить отказоустойчивость и масштабируемость ETL‑платформы
Обязательно
- •Высшее техническое образование
- •Опыт управления командой 8–12 инженеров
- •Уверенное владение Scala и SQL и опыт работы с Java/Python/Groovy/Bash/JavaScript
- •Опыт работы с Apache Spark, Apache Flink, Apache Iceberg, HDFS, YARN и S3‑совместимыми хранилищами
- •Экспертный уровень Jenkins Pipeline as Code (Groovy) и организация Shared Libraries
- •Опыт построения отказоустойчивых и высоконагруженных ETL‑платформ
Будет плюсом
- •Базовое знание React и опыт проектирования UI для платформы
- •Опыт с Celery и Redis для асинхронных задач
- •Экспертиза в AI/LLM: LangChain, LlamaIndex, RAG и интеграция LLM для генерации кода и детектирования аномалий
- •Понимание микросервисной архитектуры и внедрения AI‑подсказок в UI
