Создать инференс в Comfy RUN

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. На верхней панели слева нажмите и убедитесь в наличии сервиса ML Inference в разделе AI Factory. Если сервиса нет в списке, обратитесь в техническую поддержку.

3. Для работы с моделью из Hugging Face убедитесь, что у вас есть:

   • аккаунт на Hugging Face;

   • токен доступа (User Access Token);

   • секрет для токена доступа.

Создание инференса

1. На верхней панели слева нажмите и перейдите в раздел AI Factory → ML Inference.

2. Выберите Comfy RUN.

3. Нажмите Создать.

   

4. В выделенное окно добавьте JSON-сценарий с пайплайном из ComfyUI.

   Что такое JSON-сценарий

   Чтобы заменить JSON-сценарий, нажмите и выберите Очистить сценарий.

   

5. (Опционально) В поле Название укажите название инференса.

   Поле заполняется автоматически. Вы можете ввести другое название для нового инференса.

6. Выберите модель GPU. Чтобы выбрать подходящий GPU, вам нужно оценить требования модели к вычислительным ресурсам: объем памяти и количество ядер. Рекомендуем начинать с менее мощного GPU и масштабировать ML-модели по мере необходимости.

   Для выбора доступны:

   • GPU NVIDIA V100 PCIe

   • GPU NVIDIA H100 NVLINK

   • GPU NVIDIA A100 NVLINK

7. Выберите версию Comfy.

   Доступная версия среды зависит от выбранной модели GPU.

8. Укажите количество GPU-карт.

9. Укажите объем памяти GPU.

10. Нажмите Далее.

11. Укажите настройки масштабирования:

    1. Выберите минимальное и максимальное количество экземпляров контейнера.

       При минимальном количестве экземпляров «0» — модель работает в serverless-режиме и автоматически отключается при отсутствии запросов. При поступлении новых запросов модель запускается повторно.

    2. Укажите время доступности модели при отсутствии нагрузки.

    3. (Опционально) Чтобы модель всегда была доступна, включите опцию Не выключать Comfy RUN.

12. Укажите длину очереди.

13. (Опционально) Чтобы модель принимала запросы только от указанного сервисного аккаунта, включите опцию Аутентификация. Подробнее об аутентификации в ML Inference.

14. Для постоянного хранения сгенерированных изображений в поле Бакет из Object Storage выберите бакет или создайте новый бакет.

    Результаты генерации сохраняются в бакете S3 по пути comfy/modelrun_id/results/task_id/output/filename.

    Название файла формируется автоматически — при создании задачи в ComfyUI подставляется filename_prefix = {task_id}_{slot}. После завершения генерации файл загружается в S3 под каноническим именем {task_id}_{slot}_00001.{ext}.

15. Выберите токен доступа в Hugging Face или создайте новый.

16. В окне с JSON-сценарием укажите модель из Hugging Face для каждого из узлов с моделью.

    В зависимости от JSON-сценария система автоматически определяет необходимое количество узлов для загрузки моделей.

    Для загрузки модели:

    1. На карточке узла нажмите Модель.

       

    2. Нажмите Добавить репозиторий.

    3. Укажите адрес репозитория в Hugging Face, в котором расположена модель.

    4. Нажмите Выбрать.

    5. Выберите файл модели — .safetensors или .ckpt.

    6. Нажмите Выбрать.

    

17. В окне с JSON-сценарием укажите параметры в формате OpenAI для узлов сценария.

    Для корректной работы сценария укажите параметры:

    • filename_prefix — определяет префикс имени файла при сохранении сгенерированного изображения на выходе пайплайна.

    • (Опционально) prompt — текстовое описание желаемого результата генерации.

    • (Опционально) input.multipart — входные данные: изображение, видео, аудио или другие файлы при отправке запросов.

    • (Опционально) output.multipart — сгенерированные данные: изображение, видео, аудио или другие файлы в ответе от Comfy RUN.

    1. На карточке узла нажмите Параметр.

       

    2. Выберите параметр из списка.

    3. Нажмите Выбрать.

       

18. Нажмите Создать.

Результат

Вы будете перенаправлены в раздел с информацией о созданном инференсе. В режиме Serverless инференс изначально находится в статусе «Ожидает запроса». После отправки первого запроса на генерацию через API инференс переходит в статус «Запущен».

Следующие шаги

После создания инференса протестируйте его работу в OpenAPI.