Инженер данных
удалёнка, гибрид, Москва
В команде инженеров данных вы будете разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino, развивать Data Governance и создавать AI‑workflows для автоматизации инженерных задач — чтобы аналитика и бизнес получали актуальные данные вовремя
ГрейдMiddle
Опыт1–3 года
Стек
PythonAirflowClickHouseKafkaTrinoPostgreSQLVerticaS3SparkHadoopKubernetesHelmSupersetPrometheusGrafanaGitLab
Задачи
- •разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino
- •проектировать и реализовывать фабрики data‑пайплайнов
- •обеспечивать своевременное обновление и поступление актуальных данных
- •развивать систему Data Governance
- •настраивать и поддерживать мониторинг и алертинг
- •создавать AI‑workflows для типовых инженерных задач и интегрировать их с внутренними инструментами
Обязательно
- •более 2 лет опыта с Python
- •более 2 лет в роли Data Engineer, знание Apache Spark (PySpark) и оптимизации запросов
- •опыт работы с ClickHouse, PostgreSQL и Trino
- •умение разрабатывать компоненты Airflow
- •практический опыт использования AI‑агентов и agentic development tools
- •поддержание порядка в коде, Git и документации
- •высшее техническое образование
Будет плюсом
- •опыт работы с CI/CD
- •опыт работы с Kubernetes, Prometheus, Superset и Helm
- •опыт взаимодействия с аналитиками и Data Scientists
- •создавали собственных AI‑агентов, skills/tools, MCP‑интеграции или многошаговые AI‑workflows для автоматизации процессов