КриптонитData Engineer (SRE)
офис, гибрид, Москва
Команда развивает платформу хранения и потоковой обработки данных в частных облаках. Вы будете настраивать и развивать пайплайны загрузки, общие библиотеки и мониторинг, обеспечивая безопасный и стабильный обмен данными для заказчиков
ГрейдMiddle/Senior
Опытот 3 лет
Стек
ScalaSparkPostgreSQLKubernetesPythonClickHouseScyllaElasticSearchS3KafkaGrafanaPrometheusDockerNiFiAirflowTypelevel
Задачи
- •Установка и настройка загрузчиков данных на базе NiFi, Spark, Airflow
- •Реализация общих компонентов обработки данных (Airflow-операторы, Spark internals, библиотеки загрузки)
- •Настройка процессов загрузки из s3, hdfs, samba, sftp в разных форматах (csv, parquet, json, xml)
- •Настройка мониторинга и оповещений по работе загрузчиков
- •Code review и контроль реализации технических решений
Обязательно
- •Профильное образование в ИТ/статистике/математике
- •Опыт работы по специальности от 3 лет
- •Опыт разработки на Scala или Python от 1 года
- •Опыт работы с NiFi, Spark или Airflow
- •Знание алгоритмов и структур данных
- •Опыт работы в команде
- •Готовность к разъездному характеру и работе с государственными заказчиками
