билайнData Engineer
удалёнка
Команда Data Engineering работает над пайплайнами, расчётами и витринами данных. Вы будете автоматизировать и оптимизировать вычисления на Spark/Hadoop, поддерживать витрины и мигрировать процессы на Airflow для обеспечения корректных данных и стабильных бизнес-метрик
ГрейдJunior/Middle
Опытот 2 лет
Стек
ScalaApache SparkClickHouseApache AirflowSQLPythonBashHadoop (HDFS, YARN)PostgreSQL
Задачи
- •Автоматизация текущих расчётов
- •Внедрение новых (в т.ч. разработанных) моделей расчётов
- •Устранение багов в расчётах
- •Поддержка и оптимизация текущих расчётов и витрин данных
- •Миграция процессов на новые инфраструктурные элементы (например, Airflow)
- •Коммуникация с аналитиками и продуктовыми командами
Обязательно
- •Опыт работы в роли Data Engineer от 2 лет
- •Уверенное владение Scala, Python (pyspark), SQL и Bash
- •Умение писать сложные SQL‑запросы
- •Понимание архитектуры Apache Spark и опыт оптимизации обработки данных на Spark
- •Опыт работы с Hadoop (HDFS, YARN)
- •Практический опыт с Apache Airflow
- •Знание ClickHouse и PostgreSQL
Будет плюсом
- •Опыт настройки и проверок качества данных (DQ чеки)
- •Опыт мониторинга с Grafana и Prometheus
- •Знание Amazon S3, Databricks, Greenplum
- •Опыт использования Docker и Kubernetes
