Ай-ТекоРазработчик Spark
Разработка и сопровождение промышленных ETL-пайплайнов и библиотек на Apache Spark. Работа нужна для обработки больших объёмов данных и обеспечения стабильной высокопроизводительной обработки в продакшене
ГрейдJunior/Middle
Опытот 2 лет
Стек
JavaApache SparkSpark SQLSpark StreamingRDDDataFrame
Задачи
- •разработка решений и оптимизация вычислений на Spark
- •создание и поддержка ETL-пайплайнов
- •разработка внутренних инструментов и библиотек для Spark
- •поддержка и разработка потоковой обработки данных на Spark Streaming
Обязательно
- •опыт разработки на Spark (RDD, DataFrame, Spark SQL)
- •опыт использования Java в проектах на Spark
- •промышленный опыт разработки на Spark
- •отлаживание и оптимизация производительности Spark-приложений
Будет плюсом
- •опыт разработки инструментов/библиотек на Spark
- •опыт работы со Spark Streaming
