Вакансия LlmOps, работа в IT-компании Cloud.ru

ОБЯЗАННОСТИ

Готовить LLM и другие генеративные модели к промышленному запуску;
Выбирать inference-движок с учетом архитектуры модели, оборудования и требований продукта;
Создавать воспроизводимые контейнерные образы и конфигурации model serving;
Настраивать tensor parallelism, pipeline parallelism, batching, KV cache, длину контекста и управление памятью;
Подбирать методы квантизации и оптимизации с контролем влияния на качество модели;
Определять оптимальное количество и тип GPU для целевых latency, throughput и нагрузки;
Проводить профилирование, функциональные и нагрузочные тесты моделей;
Находить узкие места на уровне модели, inference-движка, CUDA, GPU, сети и хранилища;
Автоматизировать развертывание, обновление, откат и масштабирование моделей в Kubernetes;
Настраивать метрики, логи и трассировку model-serving-сервисов;
Формировать эталонные конфигурации и таблицы производительности поддерживаемых моделей;
Контролировать потребление GPU, утилизацию памяти и стоимость inference;
Участвовать в настройке маршрутизации, балансировки и отказоустойчивости сервисов моделей;
Адаптировать конфигурации моделей для облачной и on-premise-инфраструктуры;
Оценивать новые модели, inference-фреймворки, методы оптимизации и аппаратные платформы;
Консультировать продуктовые команды по возможностям, ограничениям и инфраструктурным требованиям моделей;
Взаимодействовать с командами разработки моделей, DevOps/SRE, Agents Space и частных инсталляций.

ТРЕБОВАНИЯ

Практический опыт запуска LLM или других крупных генеративных моделей в production либо на высоконагруженных стендах;
Хорошее понимание архитектуры Transformer и жизненного цикла inference-запроса;
Опыт работы хотя бы с одним современным inference-движком: vLLM, NVIDIA TensorRT-LLM, Triton Inference Server, Hugging Face TGI или аналогичным;
Понимание tensor/pipeline parallelism, continuous batching, KV cache и методов управления памятью;
Знание методов квантизации и их влияния на качество и производительность;
Практический опыт работы с GPU, CUDA и инструментами диагностики;
Уверенное владение Python;
Опыт контейнеризации с Docker и развертывания сервисов в Kubernetes;
Опыт проведения нагрузочных тестов и анализа latency, throughput, time to first token и inter-token latency;
Опыт настройки мониторинга и профилирования inference-сервисов;
Знание Linux, Git и основных принципов CI/CD;
Умение документировать эксперименты и принимать решения на основании измеримых результатов.

Будет преимуществом

Опыт работы с NVIDIA GPU Operator, DCGM, MIG, NCCL и multi-node inference;
Знание PyTorch и Hugging Face Transformers;
Опыт оптимизации моделей с помощью TensorRT, ONNX или custom kernels;
Опыт работы с Ray Serve, KServe, Seldon или аналогичными системами;
Понимание особенностей MoE-моделей, speculative decoding и prefix caching;
Опыт построения автоматизированного контура оценки качества LLM;
Опыт эксплуатации моделей в on-premise или изолированных средах;
Опыт расчета и оптимизации unit-экономики inference.

УСЛОВИЯ

Оформление в соответствии с трудовым законодательством РФ;
Конкурентный уровень дохода (оклад + годовой бонус);
ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;
Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;
Работу в команде профессионалов;
Участие в создании инновационных продуктов;
Гибкое начало рабочего дня, пятница - сокращенный рабочий день;
Возможность работать удаленно;
Офис в центре Москвы;
Корпоративную мобильную связь;
Льготную программу ипотечного и потребительского кредитования.

Еще у нас:

Возможность вертикального и горизонтального роста;
Бонусные программы от компаний партнеров;
Возможность получения бонуса за закрытие вакансии по вашей рекомендации;
Материальная помощь при рождении детей и др. семейных обстоятельствах;
Обучение в Корпоративном университете за счёт компании;
Участие в профильных конференциях в качестве спикера или слушателя;
Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).

LlmOps

Рекомендуемые вакансии