NavioИнженер данных
офис, Москва
Команда данных развивает пайплайны и витрины метрик для оценки функций автономного вождения (локализация, удержание в полосе, распознавание). Роль фокусируется на расчёте метрик, оптимизации обработки и интеграции алгоритмов в существующие ETL-процессы
Стек
PythonSparkSQLAirflowPolarsPandasPyArrow
Задачи
- •Реализовать шаг/пайплайн с алгоритмом расчёта метрик функций автономного вождения
- •Оптимизировать обработку данных переходом со Spark на Polars/PyArrow или оптимизацией Spark-запросов с распараллеливанием
- •Разрабатывать и поддерживать пайплайны обработки данных
- •Формировать витрины с метриками
- •Регламентация алгоритмов расчета метрик функций автономного вождения
Обязательно
- •Разработка на Python
- •Хорошее знание SQL (джойны, оконные функции)
- •Опыт обработки данных на Python (Pandas/Polars)
- •Знакомство со Spark
- •Знакомство с Airflow
