ЯндексИнженер данных в Финтех
офис, гибрид
Команда строит новое аналитическое хранилище данных для платёжных продуктов. Роль сопряжена с разработкой и оптимизацией ETL/ELT‑пайплайнов, обеспечением качества и доступности данных, чтобы аналитики могли быстро получать надёжные инсайты для бизнеса.
ГрейдMiddle
Стек
PythonSparkClickHouseKafkaSQLHadoopHiveFlinkJupyterpandas
Задачи
- •Проектировать и реализовывать ETL/ELT‑пайплайны
- •Оптимизировать логику обработки и производительность пайплайнов
- •Обеспечивать доступность, полноту и консистентность данных
- •Проектировать структуру аналитического хранилища (DWH)
- •Взаимодействовать с аналитиками для формирования требований и преобразования данных
Обязательно
- •Уверенное программирование на Python
- •Хорошее знание SQL и понимание устройства СУБД
- •Понимание практик CI/CD, контроля версий, код‑ревью, тестирования и мониторинга
- •Уверенная работа в командной строке Unix (Linux/macOS)
Будет плюсом
- •Опыт создания высоконагруженных ETL/ELT (Hadoop, Hive, Spark)
- •Опыт обработки событий вблизи реального времени (Kafka, Spark Streaming, Flink)
- •Участие в проектировании хранилищ данных
- •Знание специализированных аналитических СУБД (Greenplum, Vertica, ClickHouse, Teradata)
- •Опыт работы с аналитическими инструментами на Python (Jupyter, pandas, SciPy, Matplotlib)
- •Опыт работы по Agile, руководство стажёрами или публикации/выступления
