ЯндексРазработчик дата-платформы Logos
офис, гибрид, Санкт-Петербург
Команда развивает внутреннюю data-платформу Logos для создания, оркестрации и мониторинга ETL‑пайплайнов, хранения аналитических данных и подготовки датасетов для ML. Роль важна для надёжной обработки больших объёмов данных и ускорения внедрения решений внутри сервисов компании.
Стек
PythonAirflowDWHMapReduceLuigiDagsterC++Go
Задачи
- •Разработка и расширение ETL‑фреймворка на Python
- •Упрощение шаблонного кода и создание удобных интерфейсов для пользователей
- •Поддержка интеграции разных систем хранения и обработки данных
- •Разработка инструментов data‑quality и общих утилит платформы
- •Организация мониторинга, тестирования в CI/CD и повышение надёжности процессов
Обязательно
- •Отличное знание Python
- •Понимание принципов и паттернов проектирования ПО
- •Умение писать читаемый и поддерживаемый код
- •Опыт работы с реляционными и нереляционными базами данных и понимание их устройства
Будет плюсом
- •Опыт разработки на C++ или Go
- •Разработка и поддержка библиотек на Python
- •Знание отказоустойчивых распределённых систем
- •Опыт работы с большими данными и DWH
- •Знакомство с ETL‑фреймворками (Airflow, Luigi, Dagster)
