ЯндексРазработчик формата хранения данных в динамических таблицах YTsaurus
гибрид, удалёнка, офис, Москва
Команда развивает слой хранения данных YTsaurus для аналитики: адаптация форматов, сжатие и индексы в динамических (NewSQL) таблицах. Работа ускоряет аналитические запросы и снижает объемы хранения при сохранении транзакционной корректности
Стек
C++NewSQLСУБДSIMDstar-treeSMAалгоритмы сжатия
Задачи
- •Разработать формат сжатия для иерархических данных, обеспечивающий быстрый доступ по диапазонам и отдельным документам
- •Адаптировать формат исторических данных динамических таблиц для аналитических нагрузок
- •Реализовать и интегрировать аналитические индексы (SMA, star-tree) в форматы данных и использование в запросах
- •Оптимизировать код под иерархию памяти и SIMD-инструкции
- •Погружаться в цикл обработки SQL-запроса для корректного использования новых форматов и индексов
Обязательно
- •Программирование на C++
- •Знание и применение алгоритмов
- •Понимание работы железа и иерархии памяти
- •Умение писать эффективный низкоуровневый код
- •Ориентация на надежность сервиса и требования к производительности
Будет плюсом
- •Опыт низкоуровневой оптимизации под кэш/конвейер процессора
- •Знакомство с алгоритмами и практиками сжатия данных
- •Понимание принципов построения СУБД и обработки SQL-запросов
- •Опыт с аналитическими индексами (star-tree, SMA)
