Middle data engineer [Fraud Analytics Platform]
гибрид, Москва
Команда развивает in‑house систему антифрода для обнаружения и предотвращения мошенничества в сети и защиты средств клиентов. Вы будете проектировать ETL/ELT и потоковые пайплайны, оптимизировать хранилища и повышать надёжность и наблюдаемость данных
ГрейдMiddle
Стек
PostgreSQLClickHouseKafkaGitSQLGrafanaPrometheusJiraConfluence
Задачи
- •Проектирование и разработка ETL/ELT, batch и streaming пайплайнов
- •Проектирование схем и слоёв хранилищ данных, подготовка витрин
- •Оптимизация производительности БД и сложных SQL‑запросов, анализ планов выполнения
- •Интеграция с внешними системами и API, работа с Kafka
- •Построение отказоустойчивых кластеров БД: репликация, шардирование, бэкапы
- •Настройка контроля качества данных и повышение наблюдаемости систем
Обязательно
- •Глубокие знания PostgreSQL и ClickHouse
- •Уверенное владение SQL и оптимизацией сложных запросов
- •Понимание индексов, транзакций, блокировок и хранимых процедур
- •Опыт анализа планов выполнения и повышения производительности БД
- •Опыт работы с Kafka или другими брокерами сообщений
- •Уверенное владение Git
Будет плюсом
- •Опыт работы с Grafana и Prometheus
- •Опыт использования Jira и Confluence