МагнитИнженер данных
Команда данных развивает платформу обработки данных и ML-пайплайнов. Вы будете разрабатывать batch ETL, backend-сервисы для интеграций и выводить обучение/инференс в продакшен с акцентом на стабильность, воспроизводимость и наблюдаемость
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonPySparkPostgreSQLKubernetesPandasFastAPIPydanticClickHouseGreenplumTrinoS3Apache AirflowMLflowDockerGitGitLab CI
Задачи
- •Проектировать и разрабатывать batch ETL-процессы
- •Создавать backend-сервисы на Python для обработки данных и интеграции с внешними системами
- •Рефакторить и оборачивать в продакшен пайплайны обучения и инференса, обеспечивая воспроизводимость и наблюдаемость
- •Участвовать в проектировании и оптимизации хранилищ данных
- •Оркестрация пайплайнов в Apache Airflow
Обязательно
- •Опыт коммерческой разработки на Python не менее 2 лет
- •Понимание принципов построения ETL/ELT и опыт разработки batch-процессов
- •Опыт работы с распределёнными СУБД Greenplum и ClickHouse
- •Опыт с вычислительными движками Apache Spark и Trino
- •Оркестрация пайплайнов в Apache Airflow
- •Знания CI/CD и DevOps: сборка, тестирование, деплой; опыт с Docker
- •Навыки работы в командной строке Linux
