СберData Engineer
Москва
Команда дата-инженеров развивает ядро данных: ETL/ELT пайплайны, витрины и системы контроля качества данных. Роль фокусируется на разработке скриптов и пайплайнов, а также на внедрении стратегий тестирования данных для обеспечения надежных аналитических данных
ГрейдMiddle
Стек
PythonAirflowPostgreSQLdbtPandasTrinoClickHouseGreat ExpectationsDockerLinuxSQL
Задачи
- •Разработка и поддержка ETL/ELT скриптов и пайплайнов
- •Написание и оптимизация SQL-запросов для извлечения и трансформации данных
- •Проектирование и внедрение стратегии тестирования данных (Data Testing Strategy)
- •Автоматизация тестов данных и интеграция их в CI/CD
- •Мониторинг выполнения джобов, поиск и первичный анализ ошибок
- •Поддержка документации и участие в код-ревью
Обязательно
- •Уверенное владение SQL (JOIN, GROUP BY, подзапросы)
- •Практические навыки Python для ETL (скрипты, Pandas, Requests)
- •Понимание принципов работы баз данных (индексы, нормализация, транзакции)
- •Знание принципов ETL/ELT и их применение
- •Опыт с фреймворками оркестрации (Airflow, Trino, Dagster или аналоги)
- •Опыт тестирования данных (dbt test, Great Expectations, pytest и т.п.)
- •Внимательность к деталям и готовность учиться
Будет плюсом
- •Опыт с DWH/аналитическими БД (PostgreSQL, ClickHouse, Redshift)
- •Навыки работы с командной строкой (Linux)
- •Понимание контейнеризации (Docker)
- •Умение работать с API
