2gisData Quality Engineer в платформу данных
офис, удалёнка, гибрид
В команде платформы данных SMT вы будете создавать модель качества, движок проверок и self‑service-инструменты, встраивая проверки в жизненный цикл данных и оркестрацию. Роль важна для надежности витрин и автоматизации контроля качества для пользователей и инженеров.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonSparkIcebergAirflowSQLKafkaS3StarRocksClickHouseKubernetesCI/CDOpenMetadatadbtGreat ExpectationsSodaDeequElementary
Задачи
- •Спроектировать модель качества: метрики, SLO и уровни критичности
- •Построить движок проверок и встроить его в трансформации и витрины
- •Автоматизировать базовые проверки, генерируя их из метаданных
- •Дать пользователям декларативный язык/SQL для сложных правил и интегрировать проверки в пайплайны
- •Реализовать quality gates: карантин, блокировки, остановки и откаты
- •Использовать lineage из OpenMetadata для impact‑анализа и развивать data contracts вместе с Data Governance
Обязательно
- •опыт работы в роли Data Engineer/Data Quality Engineer от 3 лет
- •промышленное владение Python и SQL
- •опыт с распределённой обработкой (Spark) и большими объёмами данных
- •знакомство с оркестрацией (Airflow или аналоги) и встраиванием логики в пайплайны
- •понимание дата‑инфраструктуры: DWH и Data Lake, слои и витрины
- •опыт с инструментами качества данных (Great Expectations, Soda, Deequ, dbt tests или собственные решения)
- •опыт работы с каталогами/lineage (OpenMetadata или аналог) и сверки миграций между контурами
Будет плюсом
- •опыт построения self‑service инструментов для аналитиков или разработчиков
- •опыт работы с открытыми табличными форматами (Iceberg и т.п.)
- •опыт с каталогами данных (OpenMetadata, DataHub) и data contracts на практике
- •анomaly detection на метриках данных, включая ML‑подходы
- •опыт сверки данных при миграции хранилищ
- •опыт публичных выступлений и работы с инженерным брендом
