Запуск, настройка и оптимизация LLM на GPU: повышение производительности и снижение стоимости инференса при соблюдении; требований к задержкам и качеству ответов.
Профилирование и поиск узких мест;
Подбор параметров batching, KV- и prefix-кеширования, параллелизма и квантизации под конкретные модели, оборудование и нагрузку;
Создание воспроизводимых бенчмарков и нагрузочных тестов, в том числе для сценариев RAG и многошаговой работы агентов;
Измерение TTFT, времени генерации токена, пропускной способности, хвостовых задержек и стоимости инференса.
Исследование и экспериментальная проверка методов ускорения инференса, включая speculative decoding;
Внедрение успешных решений совместно с платформенной командой;
Участие в разработке и оптимизации RAG- и агентных компонентов платформы: интеграция моделей и инструментов, работа с контекстом и состоянием, оценка качества и эффективности решений.
ТРЕБОВАНИЯ
Опыт работы от 2 лет в ML/LLM-разработке, включая практический опыт запуска и оптимизации LLM на GPU;
Опыт настройки vLLM, SGLang или другого специализированного движка LLM-инференса;
Понимание устройства Transformer и MoE, стадий prefill/decode, KV-кеша, режимов compute-bound и memory-bound, принципов batching, квантизации и speculative decoding;
Опыт профилирования и нагрузочного тестирования;
Умение находить узкие места, проверять гипотезы и подтверждать результаты оптимизации измерениями;
Уверенное владение Python, опыт работы с PyTorch, Linux и Docker;
Понимание архитектуры RAG и LLM-агентов: retrieval, reranking, формирование контекста, tool calling, работа с историей и состоянием;
Практический опыт разработки LLM-приложений хотя бы в одном из этих направлений.
Будет плюсом:
Опыт распределённого инференса и настройки параллелизма на нескольких GPU; понимание disaggregated prefill/decode;
Практический опыт внедрения speculative decoding, квантизации и оптимизации кеширования;
Опыт работы с CUDA/Triton, низкоуровневого GPU-профилирования, оптимизации ядер или внесения изменений в движки инференса;
Опыт разработки и эксплуатации RAG- или агентных систем в production, построения автоматизированной оценки качества LLM-приложений;
Опыт дообучения или дистилляции моделей.
УСЛОВИЯ
Оформление в соответствии с трудовым законодательством РФ;
Конкурентный уровень дохода (оклад + годовой бонус);
ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;
Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;
Работу в команде профессионалов;
Участие в создании инновационных продуктов;
Гибкое начало рабочего дня, пятница - сокращённый рабочий день;
Возможность работать удаленно;
Офис в центре Москвы;
Корпоративную мобильную связь;
Льготную программу ипотечного и потребительского кредитования.
ЕЩЁ У НАС:
Возможность вертикального и горизонтального роста;
Бонусные программы от компаний партнеров;
Возможность получения бонуса за закрытие вакансии по вашей рекомендации;
Материальная помощь при рождении детей и др. семейных обстоятельствах;
Обучение в Корпоративном университете за счёт компании;
Участие в профильных конференциях в качестве спикера или слушателя;
Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).