Инференс ИИ и LLM: что это такое и как работает

Инференс происходит каждый раз, когда пользователь обращается к виртуальному помощнику, рекомендательной системе или сервису генерации текста. В этот момент обученная модель обрабатывает входные данные и формирует результат. 

Инференс — это этап, когда уже обученную ИИ-модель используют в задачах. Она получает новый запрос или данные, обрабатывает их с помощью готовых параметров и формирует результат. При этом сама модель не обучается и ее параметры (веса) не меняются. 

Обучение — это этап подготовки модели. ИИ анализирует массив данных, ищет закономерности и изменяет веса, чтобы в дальнейшем выдавать более точный результат.

Таблица сравнения

Обучение и инференс требуют разной инфраструктуры. Для обучения используют мощные кластеры графических процессоров (GPU), которые могут работать непрерывно от нескольких часов до нескольких месяцев. Например, обучение модели уровня GPT-4 на 25 000 GPU занимает около 90–100 дней. При этом критически важны не только вычислительная мощность, но и высокая пропускная способность сети (800G+), поскольку обучение требует постоянного обмена данными между ускорителями.

Для инференса требования к инфраструктуре другие. Здесь задача не обучить модель, а быстро и стабильно обрабатывать запросы пользователей. Поэтому на первый план выходят скорость ответа, возможность масштабирования и стоимость обработки каждого запроса. При этом важно учитывать, что если во время обучения загрузка GPU обычно достигает 85–95%, то при инференсе из-за жестких требований к задержке (латентности) она редко превышает 40–50%. Это фундаментальное различие напрямую влияет на экономику ИИ-проектов.

Инференс LLM (Large Language Model, или большая языковая модель) — это последовательность операций, через которые проходит каждый запрос: от обработки текста пользователя до формирования готового ответа. Чем сложнее архитектура модели, тем больше вычислений требуется для получения результата.

Шаг 1. Подготовка запроса и токенизация

Перед отправкой запроса в модель приложение формирует контекст: объединяет запрос пользователя, системные инструкции, историю диалога и, при необходимости, данные из внешних источников, например полученные с помощью подхода RAG (Retrieval-Augmented Generation).

Затем текст разбивается на токены — небольшие единицы обработки: слова, части слов или символы. Например, длинное слово может разделиться на несколько токенов. Каждому токену присваивается числовой идентификатор, который используется на следующем этапе для построения эмбеддингов. Они используются на следующем этапе для построения эмбеддингов.

Шаг 2. Преобразование токенов в эмбеддинги (Embedding)

После токенизации модель переводит каждый токен в числовой вектор — эмбеддинг. Вектор передает смысл слова и связь с другими понятиями. Так модель может учитывать контекст и понимать, что разные слова или фразы могут иметь похожее значение.

Шаг 3. Обработка данных в трансформере (Transformer)

Полученные векторы проходят через слои Transformer, где модель анализирует, как слова связаны друг с другом в контексте запроса. Механизм внимания (Attention) помогает ей определить, какие части текста важнее для формирования ответа. Так модель учитывает общий смысл слов в предложении.

Шаг 4. Генерация следующего токена

Модель определяет, какой токен для продолжения текста подходит больше. Она оценивает несколько вариантов и выбирает один на основе настроек генерации, например, температуры (temperature), которая влияет на то, насколько ответ будет разнообразным. Токен, который модель выбирает, добавляется к уже созданному тексту, и модель повторяет этот процесс, пока не составит полный ответ.

Шаг 5. KV-кеш (Key-Value Cache)

Чтобы сгенерировать длинный ответ, модели не нужно каждый раз заново обрабатывать весь предыдущий текст. Для этого используется KV-кеш (Key-Value Cache) — механизм, который сохраняет результаты вычислений механизма внимания (Attention) в рамках текущего запроса и позволяет повторно использовать их при генерации следующих токенов. Это сокращает объем вычислений и ускоряет генерацию ответа.

Существуют и другие механизмы кеширования. Например, Prefix Caching позволяет повторно использовать результаты вычислений для одинаковых частей промпта — системных инструкций или длинного контекста из RAG — уже между разными запросами. Благодаря этому существенно сокращается время до генерации первого токена (Time to First Token, TTFT).

Шаг 6. Декодирование и постобработка ответа

Модель формирует последовательность токенов и преобразует ее в обычный текст. Перед тем как показать его пользователю, ответ может пройти дополнительные этапы: проверку безопасности, очистку, форматирование или обработку во внешних сервисах.

Шаг 7. Выдача ответа в рабочей системе (production)

В рабочей среде инференс — это не только вычисления внутри модели. Система также должна распределять запросы, управлять нагрузкой, при необходимости добавлять вычислительные ресурсы и отслеживать скорость работы.

Скорость работы модели и стоимость инференса LLM зависят от нескольких параметров: объема входных данных, эффективности использования оборудования и количества запросов. Эти факторы определяют баланс между быстрым ответом и затратами на инфраструктуру.

Объем токенов

Чем больше токенов содержит запрос и ответ, тем больше вычислений требуется модели. Длинный контекст увеличивает время обработки и влияет на стоимость инференса, которая часто рассчитывается через показатель cost per token — цену обработки одного токена.

Пропускная способность (Throughput)

Пропускная способность показывает, сколько токенов или запросов система способна обработать за единицу времени. В LLM-системах используют показатель количества обработанных токенов в секунду (tokens/sec). Высокий throughput важен для сервисов с множеством пользователей, например, чат-ботов поддержки, корпоративных ИИ-ассистентов и поисковых систем с генерацией ответов в реальном времени.

Задержка (Latency)

Задержка нейросети — это время от отправки запроса до получения результата. В LLM-системах отдельно измеряют время до первого токена и полное время генерации ответа. Низкая задержка важна для голосовых помощников, онлайн-консультантов на сайтах и ИИ-ассистентов для работы с документами, где пользователю важно получить ответ в ту же секунду.

Загрузка GPU (Utilization)

GPU-инференс требует эффективного использования вычислительных ресурсов. Чем эффективнее используются вычислительные ресурсы GPU, тем ниже стоимость обработки одного запроса.

Компании выбирают режим инференса в зависимости от задачи, требований к скорости ответа и объема нагрузки.

Онлайн-инференс (Real-time Inference)

Модель обрабатывает запрос и сразу возвращает ответ. Такой вариант подходит для чат-ботов, голосовых помощников и ИИ-ассистентов, где важна низкая задержка ответа. Минус — вычислительные ресурсы должны быть доступны постоянно, поэтому при низкой нагрузке такой вариант может быть менее экономичным.

Batch-инференс (Batch Inference)

Система обрабатывает большой пакет запросов за один запуск. Например, генерирует описания для тысяч товаров или анализирует массив данных. Такой подход снижает затраты при работе с большими объемами информации.

Serverless-инференс (Serverless Inference)

Вычислительные ресурсы выделяются по мере поступления запросов, а не работают постоянно. Это выгодно при нерегулярной нагрузке, но первый запрос может выполняться дольше: системе нужно запустить окружение и загрузить модель. Такая задержка называется холодным стартом (Cold Start).

Dedicated-инференс (Dedicated Inference)

Для модели выделяют собственные вычислительные ресурсы, например, GPU. Такой режим обеспечивает стабильную производительность и подходит для сервисов с постоянной высокой нагрузкой. При росте нагрузки dedicated-инференс можно масштабировать на несколько вычислительных узлов.

Скорость ответа и затраты на инференс можно снизить, даже не меняя саму модель. Для этого есть несколько рабочих приемов. 

Квантизация (Quantization)

Модели хранят свои веса в виде чисел. Обычно это дробные числа с высокой точностью — например, 16-битные. Квантизация округляет их до целых (8-битных или даже 4-битных). От этого модель занимает меньше памяти и работает быстрее, а качество ответов падает совсем немного. 

Спекулятивное декодирование (Speculative Decoding)

При использовании приема декодирования маленькая и быстрая модель сначала набрасывает черновой вариант ответа (несколько слов или фраз), а большая основная модель только проверяет его и исправляет ошибки. Так основная модель делает меньше работы, а ответ формируется быстрее в полтора-два раза, в зависимости от железа и настроек. При этом качество почти не страдает. 

Непрерывное батчирование (Continuous Batching)

Батч — это объединение нескольких запросов в один пакет для совместной обработки. Такой подход позволяет эффективнее загружать вычислительные ресурсы, поскольку GPU обрабатывает данные пачками, а не по одному запросу.

При обычном (статическом) батчинге система накапливает запросы до заполнения пакета и только после этого запускает обработку. Это приводит к задержкам: пока пакет не набрался, первые запросы уже ждут, а GPU простаивает.

Непрерывное батчирование работает иначе. Новые запросы могут добавляться в уже выполняющийся пакет — между итерациями обработки, не дожидаясь полного завершения текущего батча. Это становится возможным благодаря тому, что при генерации текста модель обрабатывает токены последовательно, и между этими шагами можно вставить новый запрос.

Кеширование (KV-cache и Prefix Cache)

В процессе обработки запроса модель выполняет много промежуточных вычислений. Кеширование сохраняет их, чтобы при похожих запросах не пересчитывать заново. Например, KV-кеш хранит данные о внимании модели к разным частям текста, а Prefix-кеш запоминает общие части промпта — системные инструкции или постоянный контекст из базы знаний. Если вы часто спрашиваете одно и то же или используете длинные вступления, это сильно ускоряет ответ.

Умная маршрутизация (Smart Routing)

Система сама оценивает сложность вашего запроса. Если вопрос простой — его отправляют на легкую и доступную модель. Если сложный — подключают тяжелую артиллерию. Это позволяет сэкономить деньги и ресурсы без заметной потери качества для пользователя.

Выбор зависит от требований к производительности, безопасности данных и бюджету.

Когда выбирать облачный инференс

Облачный инференс подходит для продакшен-систем, где важны быстрое масштабирование, стабильная работа под высокой нагрузкой и отсутствие собственной команды разработчиков.

Когда выбирать локальный инференс

Локальный инференс подойдет для прототипирования, проектов со строгими требованиями к хранению данных внутри корпоративного контура и систем с небольшой нагрузкой.

Компании, которые хотят запустить инференс модели без затрат на закупку и обслуживание GPU-инфраструктуры, могут воспользоваться сервисом управляемого инференса Evolution ML Inference от Cloud.ru. Платформа предоставляет готовые к использованию модели и позволяет выбирать между режимами real-time, batch и dedicated в зависимости от задачи. С ее помощью обеспечиваются автоматическое масштабирование, встроенная наблюдаемость (Observability) и поддержка Shared GPU, позволяющую эффективно утилизировать ресурсы без необходимости содержать отдельную команду DevOps-инженеров. 

Приведем пример. Компания из сферы электронной коммерции использует Evolution ML Inference для пакетной обработки данных (batch processing): сервис генерирует описания товаров для каталога в фоновом режиме, что обходится дешевле, чем постоянно работающий real-time-инференс. При этом Cloud.ru предоставляет встроенную наблюдаемость (Observability) — команда видит расход токенов, задержку и стоимость каждого запроса, а GPU-кластеры разворачиваются без необходимости держать в штате отдельную DevOps-команду. Подробнее о тарифах и документации можно узнать на странице сервиса Evolution ML Inference.

Разберем основные вопросы об инференсе: определение, отличие от обучения, стоимость и способы ускорения. 

Что такое инференс в ИИ?

Это процесс применения уже обученной модели к новым данным для получения результата — ответа, прогноза или классификации.

Чем инференс отличается от обучения модели?

Обучение происходит один раз и меняет веса модели, а инференс выполняется при каждом запросе и не изменяет саму модель.

Сколько стоит инференс LLM?

Стоимость складывается из объема обработанных токенов, времени работы GPU и выбранного режима — real-time, batch, serverless или dedicated.

Как ускорить инференс LLM?

Применяют квантизацию, спекулятивное декодирование, непрерывное батчирование, кеширование и умную маршрутизацию запросов.

Что такое batch inference?

Это асинхронная обработка большого количества запросов за один запуск без необходимости мгновенного ответа.