ЯндексBackend/Platform Developer в команду LLM Platform
Санкт-Петербург
Команда LLM Platform развивает внутреннюю платформу для унифицированной работы с языковыми моделями: API, квотирование, безопасность и аналитика. Роль важна для надёжности, контроля ресурсов и безопасного использования данных в сотнях внутренних сервисов
ГрейдMiddle/Senior
Стек
GoAPI/интеграцииБазы данныхObservabilityКвотирование/Quota managementLLM-провайдеры и инференсыВеб-источники и парсинг
Задачи
- •Разрабатывать систему управления квотами и лимитами для пользователей, команд и бизнес-юнитов
- •Создавать и развивать единый API для интеграции с LLM-провайдерами и внутренними моделями
- •Реализовывать механизмы маршрутизации запросов между моделями с учётом стоимости, доступности и лимитов
- •Проектировать и внедрять механизмы безопасной передачи данных, фильтры и политики доступа
- •Строить пайплайны сбора и нормализации данных из внешних веб-источников
Обязательно
- •Промышленный опыт backend-разработки на Go
- •Понимание принципов построения распределённых систем
- •Опыт проектирования API и интеграций между сервисами
- •Опыт работы с высоконагруженными сервисами, очередями, базами данных и кешами
- •Знание практик observability: метрики, логи, трассировка, алерты
- •Внимание к безопасности данных и разграничению доступа
- •Готовность разбираться в предметной области LLM, токенов и моделей
Будет плюсом
- •Опыт работы с LLM API и AI-инфраструктурой
- •Опыт разработки платформенных сервисов и систем quota management/rate limiting
- •Опыт реализации биллинга или cost allocation
- •Опыт web scraping / web crawling и анализа веб-приложений и сетевого трафика
