ЯндексРазработчик интеграции Apache Spark с YTsaurus
офис, гибрид, Екатеринбург
Команда SPYT работает над интеграцией Apache Spark и YTsaurus — платформы для аналитики и batch-обработки. Вы будете улучшать производительность, надёжность и совместимость интеграции, чтобы ускорять обработку больших данных для внутренних и внешних пользователей.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
ScalaApache SparkYTsaurusKubernetesJavaPythonHDFSYARNDockerC++
Задачи
- •повышение эффективности интеграции Apache Spark и YTsaurus
- •проведение бенчмарков и устранение узких мест производительности
- •интеграция новых версий Spark и YTsaurus и поддержание совместимости
- •расширение сценариев использования инструмента по обратной связи дата-инженеров
- •поддержка и развитие опенсорс-комьюнити проекта
Обязательно
- •опыт работы с Apache Spark не менее 3 лет
- •разработка под JVM (Java и Scala)
- •разработка на Python
- •понимание распределённого хранения и обработки больших объёмов данных
Будет плюсом
- •опыт с Hadoop-стеком (HDFS, YARN)
- •опыт с Docker и Kubernetes
- •участие в опенсорс-проектах
- •знание C++
