ComfyUI: что это, как установить и запустить на GPU в облаке

Если производительности локального компьютера недостаточно, ComfyUI можно развернуть в облаке. При этом не нужно собирать workflow заново: достаточно перенести его в новое окружение, установить необходимые ноды и подключить модели. Чтобы упростить работу с большими файлами, веса моделей можно хранить в объектном хранилище.

В статье разберем, как устроен ComfyUI, как установить и настроить его, а также как запустить интерфейс на облачном GPU.

В ComfyUI пользователь управляет генерацией через визуальную схему, в которой можно менять последовательность обработки и настройки отдельных этапов. Такой подход особенно полезен для сложных задач, когда изображение проходит несколько преобразований. Чтобы понять особенности интерфейса и его отличия от Automatic1111, сначала разберем устройство этих схем.

Ноды и workflow: генерация как схема

Нода, или узел, — это отдельный блок, который выполняет определенную задачу. Например, загружает модель, обрабатывает текстовый запрос или запускает генерацию. У каждой ноды есть входы и выходы, через которые она соединяется с другими блоками. Так формируется граф — последовательность связанных операций, которую в ComfyUI называют workflow (рабочим процессом).

Рассмотрим базовый workflow для генерации изображения. Сначала нода Load Checkpoint загружает модель, необходимую для генерации. Затем две ноды CLIP Text Encode преобразуют положительный и отрицательный промпты в числовые представления — условия, которые будут влиять на результат. Нода Empty Latent Image создает заготовку в латентном пространстве и задает размер будущего изображения.

Когда исходные данные подготовлены, в работу вступает KSampler. Он начинает с шума и постепенно преобразует его в латентное представление изображения, учитывая заданные условия генерации. После этого VAE Decode переводит результат из латентного пространства в обычное изображение, а Save Image сохраняет готовый файл.

Так, каждая нода отвечает за отдельный этап, а соединения между ними определяют порядок передачи данных и выполнения операций. Из таких блоков можно собирать как простые схемы генерации, так и сложные workflow с дополнительной обработкой изображений и видео.

Цвет линий в ComfyUI показывает тип данных, которые передаются между нодами. Лавандовым обозначают модель, желтым — CLIP, оранжевым — условия генерации, розовым — латентное представление, синим — изображение. Соединять можно только входы и выходы совместимых типов данных. Цвета помогают быстрее ориентироваться в сложном workflow.

ComfyUI и Automatic1111: в чем разница подходов

Automatic1111 — веб-интерфейс с вкладками txt2img и img2img, полями запросов и настройками генерации изображений. В ComfyUI процесс представлен графом из нод, где видны связи между этапами обработки. Интерфейс с вкладками проще освоить для типовых задач, граф позволяет гибко объединять несколько операций в одной схеме.

Например, нужно сгенерировать изображение по заданной позе и увеличить его разрешение: 

• В Automatic1111 для этого настраивают расширение ControlNet и функцию Hires. fix через соответствующие панели интерфейса. 

• В ComfyUI процесс собирают в одном workflow: ControlNet задает позу, после генерации изображение проходит апскейл через ESRGAN и сохраняется. Если потребуется дополнительная обработка, в граф можно добавить новые ноды и настроить связи между ними.

Способ установки ComfyUI зависит от операционной системы и видеокарты. Для Windows доступны портативные сборки под разные GPU, на Linux программу обычно устанавливают из репозитория с настройкой зависимостей. Пользователям Windows и macOS разработчики рекомендуют десктопное приложение с установщиком, которое проще освоить новичкам.

Portable-версия для Windows

Portable-версия позволяет запустить ComfyUI в Windows без отдельной установки Python и необходимых библиотек. Для этого перейдите на страницу загрузки, выберите сборку, подходящую для вашей видеокарты, и скачайте архив. Распакуйте его в удобную папку и запустите файл запуска ComfyUI.

Перед первой генерацией нужно добавить модель. Например, файл чекпоинта Stable Diffusion поместите в папку ComfyUI/models/checkpoints. После этого запустите интерфейс и выберите загруженную модель в ноде Load Checkpoint.

Если ComfyUI не запускается, проверьте, соответствует ли выбранная сборка вашей видеокарте, а также обновите драйверы GPU.

Установка из репозитория на Linux

В Linux ComfyUI можно установить из репозитория в отдельное окружение Python. Для работы потребуется PyTorch с поддержкой видеокартыl. Актуальные команды для разных ускорителей приведены в официальной документации.

Основные шаги установки:

1. Создайте окружение командой conda create -n comfyenv python=3.11 и активируйте его через conda activate comfyenv.

2. Клонируйте репозиторий командой git clone и перейдите в папку проекта через cd ComfyUI.

3. Установите PyTorch для своей видеокарты по инструкции, затем выполните pip install -r requirements.txt.

4. Загрузите необходимые веса в соответствующие папки каталога models. Чтобы запускать Stable Diffusion локально, поместите ее чекпоинт в models/checkpoints.

5. Запустите программу командой python main.py и откройте в браузере адрес, который появится в терминале.

Упростить установку позволяет утилита comfy-cli. Сначала установите ее командой pip install comfy-cli, затем выполните comfy install и выберите тип видеокарты. Для запуска интерфейса используйте comfy launch.

ComfyUI Manager: установка расширений и custom nodes

ComfyUI Manager помогает управлять дополнениями сообщества (custom nodes). Через него можно искать, устанавливать, обновлять, отключать и удалять пакеты нод, которые расширяют возможности программы. Менеджер также позволяет скачивать модели, находить недостающие элементы при открытии чужого workflow и сохранять снимки состояния установки для восстановления после неудачного обновления.

В десктопном приложении менеджер уже включен по умолчанию. В портативной версии для Windows и при ручной установке ComfyUI Manager не активируется автоматически: 

• для портативной сборки требуется запустить установочный скрипт install-manager-for-portable-version.bat из каталога ComfyUI_windows_portable;

• для ручной установки — клонировать репозиторий менеджера в папку custom_nodes или воспользоваться соответствующей командой comfy-cli. 

После этого достаточно открыть панель управления, найти нужный пакет по названию и нажать Install. Дополнительные ноды могут выполнять сторонний код, поэтому перед установкой стоит проверить автора и репозиторий. Это правило действует и при работе в облачном окружении.

Требования ComfyUI к видеопамяти зависят от выбранной модели, разрешения и формата результата, поэтому далее рассмотрим несколько практических сценариев.

Требования к видеопамяти для изображений и видео

Видеопамять (VRAM) используется для хранения весов модели и промежуточных данных во время генерации. Если ее не хватает, ComfyUI может переносить часть компонентов в оперативную память (offloading), что обычно замедляет работу. Размер файла с весами при этом не равен необходимому объему VRAM. Например, FP8-квантованный чекпоинт FLUX.1-dev занимает около 17 ГБ, Qwen-Image в формате fp8 — 20,4 ГБ. Версия FLUX.1-dev в полной точности (FP16) требует значительно больше памяти (порядка 70 ГБ дискового пространства), а для ее загрузки в VRAM может понадобиться более 23 ГБ. Подробнее о расчете ресурсов рассказали в статье про выбор GPU-сервера.

Требования к оборудованию зависят от версии модели, разрешения, точности весов и настроек памяти. Сжатые форматы, включая GGUF, позволяют запускать требовательные нейросети на менее мощных видеокартах. В таблице привели ориентиры для наиболее распространенных сценариев.

*Все показатели ориентировочные. Перед запуском стоит проверить требования выбранной версии и оставить запас памяти для промежуточных вычислений.

Что делать, если VRAM не хватает: квантизация и облачный GPU

Уменьшить потребление видеопамяти помогает квантизация, при которой веса модели хранятся с меньшей точностью. Например, формат FP8 использует 8 бит вместо 16 у FP16 и BF16. Для FLUX.1 существует готовый FP8-чекпоинт, который загружается одним файлом. Дополнительно сократить размер весов позволяют варианты GGUF, например Q4. Чтобы использовать их, нужно установить расширение ComfyUI-GGUF, заменить ноду Load Diffusion Model на Unet Loader (GGUF) и поместить файл в папку models/unet. При сильном сжатии возможно снижение качества результата, а скорость работы зависит от выбранного формата и оборудования.

Если доступной памяти все равно недостаточно, ресурсоемкие задачи можно выполнять на арендованном GPU. В Cloud.ru доступны ускорители разных классов, включая A100 с 40 и 80 ГБ видеопамяти. Они позволяют запускать требовательные модели без покупки собственной видеокарты. 

ComfyUI иногда называют нейросетью, хотя программа служит интерфейсом для работы с генеративными моделями. От выбранной модели зависит, какие изображения или видео можно создавать и какие способы обработки доступны. Файлы обычно скачивают из репозиториев Hugging Face, предварительно проверяя условия лицензии.

Для хранения компонентов предусмотрены отдельные папки внутри каталога models. Чекпоинты размещают в checkpoints, LoRA — в loras, VAE — в vae. Веса диффузионных моделей загружают в diffusion_models, а текстовые энкодеры — в text_encoders.

Чекпоинты: Stable Diffusion, FLUX, Qwen-Image

Чекпоинт — это файл с обученными весами модели, которые нужны для генерации изображений. В зависимости от архитектуры он может содержать не только саму модель, но и дополнительные компоненты, например текстовые энкодеры и VAE. От состава чекпоинта зависит, какие файлы нужно скачать и какие ноды использовать в ComfyUI.

Stable Diffusion XL (SDXL) — пример модели, которую можно загрузить одним файлом. Базовый чекпоинт в формате FP16 занимает около 6,94 ГБ и включает диффузионную модель, текстовые энкодеры и VAE. Для подключения достаточно ноды Load Checkpoint: она загружает необходимые компоненты сразу. Другие версии модели могут отличаться по размеру и составу.

FLUX.1 устроена иначе. В полной конфигурации ее компоненты хранятся в отдельных файлах: диффузионная модель, два текстовых энкодера CLIP-L и T5-XXL, а также VAE. Каждый компонент подключают через соответствующие ноды ComfyUI. Есть и готовые однофайловые сборки, например в формате FP8, которые упрощают настройку. При выборе FLUX.1 dev или schnell также учитывайте условия лицензии: они различаются.

Qwen-Image — модель для генерации изображений с 20 млрд параметров, распространяемая по лицензии Apache 2.0. Для ее работы нужны три компонента: веса диффузионной модели, текстовый энкодер Qwen2.5-VL 7B и VAE. Их загружают отдельно и соединяют с помощью соответствующих нод. Готовые схемы генерации можно найти в библиотеке шаблонов ComfyUI и официальной документации.

Таким образом, перед загрузкой модели важно проверить, какие компоненты входят в выбранную сборку. От этого зависит, достаточно ли одного чекпоинта или потребуется скачать несколько файлов и настроить их подключение.

LoRA: как подключить и зачем

LoRA (Low-Rank Adaptation) — это дополнительный набор весов, который помогает адаптировать уже обученную модель под определенную задачу. Например, с его помощью можно добавить определенный художественный стиль, научить модель воспроизводить конкретного персонажа или создавать изображения с заданными особенностями. При этом не нужно скачивать или обучать базовую модель заново.

LoRA должна быть совместима с архитектурой основной модели. Например, адаптер, обученный для SDXL, нельзя напрямую использовать с FLUX.

Чтобы подключить LoRA в ComfyUI:

1. Скачайте файл адаптера и поместите его в папку ComfyUI/models/loras.

2. Добавьте в workflow ноду Load LoRA.

3. Подключите к ней модель и текстовый энкодер из предыдущих нод.

4. Соедините выходы Load LoRA со следующими узлами workflow.

5. Настройте силу влияния адаптера на генерацию и обработку промпта.

Если готовые адаптеры не подходят под задачу, можно обучить собственную LoRA. Для этого используют, например, Ostris AI Toolkit. В нем можно подготовить набор изображений (датасет), настроить параметры обучения и запустить процесс через веб-интерфейс.

Модели для генерации видео

Для генерации видео в ComfyUI можно использовать Wan 2.2. Семейство распространяется по лицензии Apache 2.0, а готовые workflow доступны во встроенной библиотеке шаблонов. Версия TI2V-5B с 5 млрд параметров создает ролики по текстовому запросу или исходному изображению. Более крупные варианты T2V-A14B и I2V-A14B требуют больше вычислительных ресурсов.

Kandinsky 5.0 Video Lite — открытая модель с 2 млрд параметров и лицензией MIT. Для генерации по тексту доступны версии, создающие ролики длительностью 5 или 10 секунд в разрешении 768×512. Также существует вариант для создания видео на основе изображения. Диффузионно-дистиллированные версии работают примерно в шесть раз быстрее исходных при небольшом снижении качества, по данным разработчиков. 

Лицензии моделей: что можно использовать в коммерческих проектах

Сам ComfyUI распространяется бесплатно, однако условия использования моделей устанавливают их правообладатели. Для студий и маркетологов это важно при создании рекламных роликов, изображений для сайтов и карточек товаров. 

Коммерческое использование весов модели и созданных с ее помощью материалов регулируется по-разному. Например, лицензия FLUX.1 dev допускает применение готовых изображений в коммерческих целях при соблюдении установленных условий. При этом для запуска модели в коммерческом процессе необходимо отдельное разрешение. Ограничения также распространяются на производные версии, включая обученные на ее основе LoRA.

Готовые workflow позволяют быстрее приступить к генерации и разобраться в устройстве сложных схем. В ComfyUI есть встроенная библиотека шаблонов для создания изображений, видео и других задач. Открыть ее можно через раздел Templates на боковой панели или меню Workflow. Например, в категории Video доступны схемы для Wan 2.2. Дополнительные примеры можно найти в официальной документации, на GitHub и площадках сообщества.

Workflow ComfyUI можно сохранить в формате JSON и перенести на другой компьютер. Некоторые изображения в формате PNG также содержат метаданные, позволяющие восстановить исходный граф. Если схема получена из стороннего источника, загрузить ее можно следующим образом:

1. Скачайте JSON-файл или PNG, в метаданных которого сохранен workflow.

2. Перетащите файл в рабочую область ComfyUI или загрузите его через меню Workflows → Open.

3. Если появились сообщения об отсутствующих сторонних нодах, найдите и установите необходимые расширения через ComfyUI Manager.

4. При необходимости перезапустите программу после установки дополнительных нод.

5. Проверьте, что нужные файлы моделей доступны, выберите их в загрузчиках и запустите генерацию.

После загрузки чужой схемы полезно сохранить ее копию. Сначала проверьте работу с исходными настройками, а затем последовательно меняйте промпты и параметры. Это поможет понять влияние отдельных настроек на результат и при необходимости вернуться к предыдущей версии.

При запуске ComfyUI в облаке вычисления выполняются на GPU удаленного сервера, а пользователь работает с привычным интерфейсом через браузер. На платформе Cloud.ru Evolution для этого доступен сервис Evolution Notebooks, входящий в состав AI Factory — среды для работы с генеративным ИИ. В сервисе предусмотрен готовый образ, который позволяет запустить программу без ручной настройки драйверов, CUDA и основных зависимостей.

Готовый образ в Evolution Notebooks

В списке базовых образов доступны Cloud.ru Jupyter ComfyUI для генерации изображений и Cloud.ru Jupyter ComfyUI Kandinsky 5 Video Lite для создания видео. Второй образ подготовлен для работы с Kandinsky 5.0 Video Lite. Ниже рассмотрим запуск первого образа. Подробный пример с загрузкой весов и настройкой генерации приведен в руководстве.

В Evolution Notebooks ноутбуком называют облачную рабочую среду на базе JupyterLab, в которой можно запускать модели с использованием GPU. Для ее создания необходим доступ к сервису и достаточная квота вычислительных ресурсов. Рекомендуется заранее создать бакет в Evolution Object Storage для хранения весов моделей, чтобы файлы сохранились после удаления ноутбука.

Порядок запуска:

1. В личном кабинете Cloud.ru откройте раздел AI Factory → Notebooks и нажмите «Создать».

2. Введите название ноутбука и выберите конфигурацию с GPU.

3. В списке базовых образов укажите Cloud.ru Jupyter ComfyUI и нажмите «Продолжить».

4. В разделе «Хранилища» подключите созданный бакет Object Storage.

5. Включите «Вход по учетной записи Cloud.ru», чтобы предоставить доступ к ноутбуку только участникам проекта, затем нажмите «Создать».

6. После запуска откройте JupyterLab, найдите раздел Other и перейдите в модуль Comfy UI.

Изменить конфигурацию вычислительных ресурсов после запуска нельзя. Если потребуется другой объем памяти или производительность, придется создать новый ноутбук. Для длительной генерации в serverless-режиме также важно проверить request-таймаут, поскольку по его истечении запрос без ответа будет прерван.

Хранение весов моделей в Object Storage

Подключенный к Evolution Notebooks бакет Evolution Object Storage доступен в рабочей среде как папка по пути /mnt/s3/ИМЯ_БАКЕТА. Такое объектное хранилище для весов позволяет использовать одни и те же файлы FLUX.1 и других крупных моделей в разных ноутбуках. При удалении рабочей среды данные в бакете сохраняются, поэтому повторно скачивать их не потребуется.

Чтобы ComfyUI находил нужные файлы в своих каталогах models, можно создать символические ссылки на содержимое бакета. Они указывают на расположение весов без создания дополнительных копий. При создании нового ноутбука ссылки потребуется настроить заново.

Пример: генерация видео с Kandinsky 5.0 Video Lite

Для работы с Kandinsky 5.0 Video Lite в Evolution Notebooks предусмотрен образ Cloud.ru Jupyter ComfyUI Kandinsky 5 Video Lite с необходимыми инструментами. После создания ноутбука с GPU и подключения бакета остается загрузить компоненты модели. Для этого в терминале запускают скрипт из руководства Cloud.ru. Он скачивает веса, текстовые энкодеры Qwen2.5-VL и CLIP-L, 3D VAE от HunyuanVideo (HunyuanVideo VAE) и создает символические ссылки на файлы в каталогах ComfyUI.

После подготовки откройте модуль Comfy UI и перейдите в меню «Рабочий процесс» → «Посмотреть шаблоны». Для получения более качественного результата подойдет Kandinsky 5.0 T2V Lite SFT 5s. Если важнее скорость генерации, выберите Kandinsky 5.0 T2V Lite distill 5s. В ноде expand_prompt введите описание сцены на русском или английском языке, в Kandinsky5TextEncode укажите негативный промпт. Затем нажмите «Запустить».

В этом примере готовый ролик сохраняется в формате анимированного WebP. Результат появится в соответствующей ноде, файл будет доступен в каталоге /comfyui/output. Первый запуск может занять больше времени из-за инициализации GPU и загрузки модели в память. Для последующих генераций можно использовать очередь, добавляя несколько запросов подряд.

В ComfyUI можно объединить генерацию и последующую обработку в одном workflow, задав общие правила для всей серии. Такой подход используют для товарных карточек, рекламных материалов и других задач, где требуется регулярно выпускать новые визуалы.

Визуалы для маркетплейсов и рекламы

При подготовке товарных изображений для маркетплейсов часто требуется оформить десятки или сотни карточек в едином фирменном стиле. Для такой задачи можно собрать workflow в ComfyUI, который генерирует базовые изображения, выполняет цветокоррекцию, добавляет фирменный фон и сохраняет готовые файлы. Все этапы выполняются в одной схеме, что сокращает количество ручных операций.

Настроенный процесс можно использовать для новых товаров, меняя исходные данные и параметры генерации. Аналогичный подход подходит для рекламных баннеров и обложек. Если нужны короткие ролики для социальных сетей, workflow можно дополнить генерацией видео с помощью Kandinsky 5.0 Video Lite.

Пакетная генерация по шаблону workflow

Пакетная генерация в ComfyUI позволяет получать серию изображений с помощью одной схемы. Например, можно сохранить разрешение и параметры обработки, меняя промпт, исходную картинку или значение seed. Очередь выполняет добавленные задания последовательно. Для автоматической смены входных данных используют соответствующие настройки нод, дополнительные расширения или API.

Для регулярной работы удобно сохранять отдельные workflow в формате JSON и передавать их коллегам. Каждый участник команды сможет использовать одинаковую последовательность обработки, подключив необходимые модели. При этом результаты могут различаться в зависимости от seed, версий моделей и установленных нод.

В базовых образах Evolution Notebooks доступен Git CLI, с помощью которого можно вести историю изменений JSON-схем в репозитории. Это помогает команде работать с актуальными версиями workflow и при необходимости возвращаться к предыдущим настройкам.

Заключение

ComfyUI позволяет собирать гибкие сценарии генерации и обработки изображений и видео, управлять каждым этапом с помощью нод и сохранять готовые workflow для повторного использования. Дополнительные модели, LoRA и расширения помогают адаптировать рабочие схемы под разные задачи.

Выбор среды для запуска зависит от сложности workflow и требований используемых моделей к вычислительным ресурсам. Для простых сценариев может быть достаточно локального компьютера, а для ресурсоемких моделей и генерации видео — облачного GPU.

FAQ

• ComfyUI бесплатный?

  Да, ComfyUI распространяется бесплатно с открытым исходным кодом. Расходы могут возникнуть при покупке оборудования или использовании облачных вычислительных ресурсов. Для коммерческой работы с некоторыми моделями также требуется отдельная лицензия.

• Какая видеокарта нужна для ComfyUI?

  Для SDXL обычно достаточно 8–12 ГБ видеопамяти (VRAM). Облегченные версии FLUX.1 могут работать с 6–12 ГБ, для более тяжелых вариантов и Qwen-Image часто ориентируются на 24 ГБ. Модель Wan 2.2 TI2V 5B поддерживает запуск примерно с 8 ГБ благодаря выгрузке части весов в оперативную память. Для обучения LoRA на FLUX.1 ориентир составляет от 24 ГБ. Точные требования зависят от модели и настроек генерации.

• Можно ли запустить ComfyUI без видеокарты?

  Да, программа поддерживает работу на центральном процессоре (CPU). Такой режим предусмотрен, в частности, в портативной версии для Windows. Генерация выполняется значительно медленнее, поэтому вариант подходит преимущественно для простых тестов. Для ресурсоемких задач можно использовать облачный GPU в Evolution Notebooks.

• Чем ComfyUI отличается от Automatic1111?

  Automatic1111 использует вкладки и формы настроек, которые обычно проще освоить для типовых задач. В ComfyUI процесс представлен графом из соединенных нод. Такой интерфейс позволяет объединять несколько этапов генерации и обработки в одном workflow, управлять их последовательностью и сохранять готовые схемы.

• Как установить расширения в ComfyUI?

  Для этого используют ComfyUI Manager. Откройте менеджер, найдите необходимое расширение в каталоге custom nodes и установите его. После установки при необходимости перезапустите интерфейс. Выбирайте дополнения от проверенных разработчиков, поскольку они содержат сторонний код, который выполняется на вашем компьютере.

• Где скачать модели и workflow для ComfyUI?

  Файлы моделей доступны на Hugging Face и в официальных репозиториях разработчиков. Готовые workflow можно найти во встроенной библиотеке шаблонов, документации ComfyUI и проектах сообщества на GitHub. После загрузки схемы потребуется проверить наличие необходимых моделей и нод.

• Можно ли использовать изображения из ComfyUI в коммерческих целях?

  Да, если это допускает лицензия выбранной модели. FLUX.1 schnell, Wan 2.2 и Kandinsky 5.0 Video Lite разрешают коммерческое применение при соблюдении установленных условий. Для FLUX.1 dev коммерческий запуск весов требует отдельной лицензии, при этом использование результатов генерации допускается с ограничениями. Stable Diffusion 3.5 можно бесплатно применять в коммерческих проектах при годовой выручке организации менее 1 млн долларов США. Перед публикацией необходимо проверить актуальные условия правообладателя.