КриптонитData Quality Engineer
Москва
Работа с качеством данных в DWH/ Data Lakehouse и ETL-пайплайнах: тестирование, автоматизация проверок и поддержка надежности аналитики для внутренних потребителей и downstream-сервисов.
Стек
PythonPySparkS3AirflowSQLPandasSparkGitCI/CDGreat ExpectationsdbtSodaOpenMetadata
Задачи
- •Разработка и поддержка тестов качества данных для ETL/DWH
- •Написание сложных SQL-запросов и оптимизация проверок
- •Автоматизация проверок на Python/PySpark
- •Интеграция проверок в пайплайны Airflow и CI/CD
- •Поддержка и документирование правил качества и data contracts
Обязательно
- •Хорошее знание SQL (сложные запросы, оптимизация)
- •Опыт работы с Python (Pandas, PySpark)
- •Понимание устройства DWH, ETL/ELT, Data Lake/Data Lakehouse
- •Опыт тестирования данных (ETL testing, DWH testing, Data Quality)
- •Опыт работы с Git и базовое понимание CI/CD
- •Опыт работы с инструментами Big Data (S3, Spark, Airflow)
Будет плюсом
- •Опыт с Great Expectations, dbt tests, Soda или кастомными решениями
- •Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas)
- •Опыт работы с Data Contracts
