ЯндексДата-инженер в Такси
гибрид, офис, удалёнка
Команда DWH снабжает менеджеров и аналитиков данными для райдтех-направлений. Инженер будет проектировать, реализовывать и оптимизировать ETL/ELT‑пайплайны и поддерживать качество данных в хранилище, влияя на отчёты и решения бизнеса
Стек
PythonSparkClickHouseKafkaHadoopHiveAirflowLuigiFlinkGreenplumVerticaTeradataJupyterPandas
Задачи
- •Проектировать и реализовывать сложные ETL/ELT‑процессы
- •Оптимизировать производительность пайплайнов и хранилища данных
- •Обеспечивать стабильность, качество и поддержку существующих витрин данных
- •Исследовать и пилотировать новые инструменты и подходы (Flink, Spark, DQ, инкрементальная обработка)
Обязательно
- •Уверенное программирование на Python
- •Знание классических алгоритмов и структур данных
- •Хорошее владение SQL и понимание устройства современных СУБД и фреймворков обработки
- •Понимание CI/CD, Git и практик code review
Будет плюсом
- •Опыт проектирования хранилищ данных
- •Знакомство со стеком Hadoop/Spark/Hive
- •Опыт создания высоконагруженных ETL/ELT‑процессов
- •Знание Luigi или Airflow
- •Опыт обработки событий в реальном времени (Kafka Streams, Spark, Flink)
- •Опыт с аналитическими СУБД (Greenplum, Vertica, ClickHouse, Teradata)
- •Опыт работы с аналитическими библиотеками на Python (Jupyter, Pandas и др.)
- •Публичные примеры кода или статьи в репозиториях
