Вы можете заменить инференс и перевести трафик сразу или постепенно, с помощью опции Плавный переход (Canary Deployment).
Перевести трафик на другой инференс
На верхней панели слева нажмите
и перейдите в раздел AI Factory → ML Inference.Выберите Публичные эндпоинты.
Нажмите на название эндпоинта.
Нажмите Редактировать.
В блоке Модели выберите способ распределения запросов Прямой трафик.
В поле Model Run выберите инференс или создайте новый.
Нажмите Сохранить.
Новый инференс начнет обрабатывать запросы после сохранения изменений.
Заменить инференс с помощью плавного перехода
Плавный переход позволяет постепенно перевести запросы с одного инференса Model RUN на другой. При изменении инференса публичный URL эндпоинта сохраняется.
Перед началом убедитесь, что:
публичный эндпоинт опубликован и направляет все запросы к одному инференсу;
новый инференс отличается от текущего и соответствует требованиям для подключения к публичному эндпоинту.
Для постепенной замены:
На верхней панели слева нажмите
и перейдите в раздел AI Factory → ML Inference.Выберите Публичные эндпоинты.
Нажмите на название эндпоинта.
Нажмите Редактировать.
В блоке Модели выберите новый инференс Model RUN, на который нужно перевести трафик.
Включите Плавный переход (Canary Deployment).
Укажите длительность перехода от 1 до 24 часов.
Сохраните изменения.
Трафик постепенно переводится с текущего инференса на новый.
После завершения весь трафик направляется к новому инференсу. Исходный инференс перестает обрабатывать запросы через этот публичный эндпоинт.
Если публичный эндпоинт распределяет запросы по весам или заголовкам, сначала переключите его на один инференс и дождитесь завершения обновления. После этого запустите плавный переход.
Плавный переход не проверяет качество ответов и не возвращает трафик автоматически при ошибках нового инференса. Во время перехода контролируйте его работу.