ДомкликData Engineer в AI-команду
удалёнка, гибрид, Москва
Команда AI строит систему оценки рыночной стоимости и ликвидности недвижимости. Роль фокусируется на разработке и поддержке Feature Store, переходе от батчевой к потоковой обработке и обеспечении качества данных для ML-моделей, что напрямую повышает точность предсказаний продукта
ГрейдMiddle/Senior
Стек
PythonAirflowGreenplumKafkadbtApache BeamPostgreSQLClickHouseS3Apache IcebergOpenMetadata
Задачи
- •Развивать и поддерживать Feature Store для ML
- •Проектировать и реализовывать ETL/stream-пайплайны для моделей
- •Перевод обработки данных от батчей к потоковой архитектуре
- •Решать задачи Data Governance и Data Quality (OpenMetadata)
- •Интегрировать Feature Store с ML-сервисами и командами
Обязательно
- •Отличное знание Python
- •Опыт оркестрации данных: dbt или Airflow или Apache Beam
- •Опыт работы с Greenplum/PostgreSQL/ClickHouse
- •Понимание архитектуры данных и SCD
- •Опыт работы с Feature Store или схожими решениями
Будет плюсом
- •Опыт работы с Kubernetes
- •Опыт с Event-Driven архитектурами и CDC
- •Опыт работы с Kafka
- •Опыт работы с S3 и Apache Iceberg
