yandex

Data Science инженер

Разработка • От 1 года до 3 лет • Гибридный

ОБЯЗАННОСТИ

  • Запуск, настройка и оптимизация LLM на GPU: повышение производительности и снижение стоимости инференса при соблюдении; требований к задержкам и качеству ответов.
  • Профилирование и поиск узких мест;
  • Подбор параметров batching, KV- и prefix-кеширования, параллелизма и квантизации под конкретные модели, оборудование и нагрузку;
  • Создание воспроизводимых бенчмарков и нагрузочных тестов, в том числе для сценариев RAG и многошаговой работы агентов;
  • Измерение TTFT, времени генерации токена, пропускной способности, хвостовых задержек и стоимости инференса.
  • Исследование и экспериментальная проверка методов ускорения инференса, включая speculative decoding;
  • Внедрение успешных решений совместно с платформенной командой;
  • Участие в разработке и оптимизации RAG- и агентных компонентов платформы: интеграция моделей и инструментов, работа с контекстом и состоянием, оценка качества и эффективности решений.

ТРЕБОВАНИЯ

  • Опыт работы от 2 лет в ML/LLM-разработке, включая практический опыт запуска и оптимизации LLM на GPU;
  • Опыт настройки vLLM, SGLang или другого специализированного движка LLM-инференса;
  • Понимание устройства Transformer и MoE, стадий prefill/decode, KV-кеша, режимов compute-bound и memory-bound, принципов batching, квантизации и speculative decoding;
  • Опыт профилирования и нагрузочного тестирования;
  • Умение находить узкие места, проверять гипотезы и подтверждать результаты оптимизации измерениями;
  • Уверенное владение Python, опыт работы с PyTorch, Linux и Docker;
  • Понимание архитектуры RAG и LLM-агентов: retrieval, reranking, формирование контекста, tool calling, работа с историей и состоянием;
  • Практический опыт разработки LLM-приложений хотя бы в одном из этих направлений.

Будет плюсом:

  • Опыт распределённого инференса и настройки параллелизма на нескольких GPU; понимание disaggregated prefill/decode;
  • Практический опыт внедрения speculative decoding, квантизации и оптимизации кеширования;
  • Опыт работы с CUDA/Triton, низкоуровневого GPU-профилирования, оптимизации ядер или внесения изменений в движки инференса;
  • Опыт разработки и эксплуатации RAG- или агентных систем в production, построения автоматизированной оценки качества LLM-приложений;
  • Опыт дообучения или дистилляции моделей.

УСЛОВИЯ

  • Оформление в соответствии с трудовым законодательством РФ;
  • Конкурентный уровень дохода (оклад + годовой бонус);
  • ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;
  • Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;
  • Работу в команде профессионалов;
  • Участие в создании инновационных продуктов;
  • Гибкое начало рабочего дня, пятница - сокращённый рабочий день;
  • Возможность работать удаленно;
  • Офис в центре Москвы;
  • Корпоративную мобильную связь;
  • Льготную программу ипотечного и потребительского кредитования.

ЕЩЁ У НАС:

  • Возможность вертикального и горизонтального роста;
  • Бонусные программы от компаний партнеров;
  • Возможность получения бонуса за закрытие вакансии по вашей рекомендации;
  • Материальная помощь при рождении детей и др. семейных обстоятельствах;
  • Обучение в Корпоративном университете за счёт компании;
  • Участие в профильных конференциях в качестве спикера или слушателя;
  • Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).

Подходит вакансия?

Оставь нам свое резюме и контактные данные

Не забудь прикрепить резюме файлом

.pdf.doc.docxдо 10мб