СберData Engineer/ Data Analyst
Санкт-Петербург
Команда обрабатывает большие объёмы данных для обнаружения аномалий, нарушений и рисков. Вы будете строить и оптимизировать ETL/пайплайны на PySpark/Hadoop, писать сложные SQL‑запросы и переводить бизнес‑требования в технические решения для аналитиков
ГрейдMiddle
Стек
PythonPySparkGreenplumHadoopApache SparkpandasSQLHDFSYARNGit
Задачи
- •Разработка и оптимизация ETL/пайплайнов на PySpark и Hadoop
- •Обработка больших объёмов данных для выявления аномалий и рисков
- •Написание и оптимизация сложных SQL‑запросов, включая оконные функции
- •Взаимодействие с аналитиками: перевод бизнес‑требований в технические решения
- •Оптимизация планов выполнения и производительности задач
Обязательно
- •Опыт в роли Data Engineer / Analytics Engineer / Data Analyst
- •Уверенное знание Python и опыт с PySpark и pandas
- •Глубокое знание SQL: сложные запросы, оконные функции, оптимизация
- •Опыт работы с Big Data: Apache Spark и понимание распределённых вычислений
- •Понимание Hadoop (HDFS, YARN), партиционирования и оптимизации задач
Будет плюсом
- •Опыт работы с MPP СУБД Greenplum
- •Знание Git
