Генерация видео с моделью Kandinsky 5.0 Video Lite в ComfyUI на основе Notebooks

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. На верхней панели слева нажмите и убедитесь в том, что сервис Notebooks в разделе AI Factory подключен. Если сервис Notebooks не подключен, оставьте заявку на подключение.

3. Убедитесь, что для сервиса Notebooks установлена квота на GPU. Для расширения квоты обратитесь в техническую поддержку.

1. Подготовьте среду

1. Для хранения модели создайте бакет в Object Storage.

2. Создайте ноутбук со следующими параметрами:

   • Конфигурация — GPU.

   • Образ — Cloud.ru Jupyter ComfyUI Kandinsky 5 Video Lite.

   • Хранилища — укажите бакет, созданный ранее.

2. Загрузите модели Kandinsky 5.0 Video Lite

1. Откройте созданный ноутбук.

2. Запустите терминал.

3. Загрузите модель в бакет S3 или напрямую в ноутбук:

   ---

   Загрузка модели в бакет Object Storage

   Загрузка модели в ноутбук

   Выполните скрипт в терминале, предварительно указав название вашего бакета в <bucket_name>:

   # Activate the base environment
   conda activate base
   
   # Set the path to the bucket, e.g. /mnt/s3/<BUCKET_NAME>/kandinsky/weights
   export K5_WEIGHTS_DIR="/mnt/s3/<bucket_name>/kandinsky/weights" COMFY_MODELS_DIR="/comfyui/models/diffusion_models/"
   
   # Create directory and change into it
   mkdir -p $K5_WEIGHTS_DIR && cd $K5_WEIGHTS_DIR
   
   # Download models
   python3 /comfyui/custom_nodes/kandinsky/download_models.py
   
   # Create symbolic links for text_encoder (Qwen/Qwen2.5-VL-7B-Instruct)
   for file in model-0000{1..5}-of-00005.safetensors; do \
       ln -fs "${K5_WEIGHTS_DIR}/text_encoder/${file}" "/comfyui/models/text_encoders/text_encoder/"; \
   done
   
   # Create symbolic links for text_encoder2 (openai/clip-vit-large-patch14)
   for file in {"tf_model.h5","pytorch_model.bin","model.safetensors","flax_model.msgpack"}; \
   do \
       ln -fs "${K5_WEIGHTS_DIR}/text_encoder2/${file}" "/comfyui/models/text_encoders/text_encoder2/"; \
   done
   
   # Create symbolic link for VAE (hunyuanvideo-community/HunyuanVideo)
   ln -fs "${K5_WEIGHTS_DIR}/vae/diffusion_pytorch_model.safetensors" "/comfyui/models/vae/vae/"
   
   # Create symbolic links for Kandinsky5Lite_T2V models
   ln -fs "${K5_WEIGHTS_DIR}/model/kandinsky5lite_t2v_distilled16steps_5s.safetensors" $COMFY_MODELS_DIR && \
   ln -fs "${K5_WEIGHTS_DIR}/model/kandinsky5lite_t2v_sft_5s.safetensors" $COMFY_MODELS_DIR
   
   

3. Сгенерируйте видео с моделью Kandinsky 5.0 Video Lite в ComfyUI

1. В интерфейсе ноутбука перейдите в модуль Comfy UI.

2. В левом верхнем углу нажмите Рабочий процесс → Посмотреть шаблоны.

3. Выберите один из доступных шаблонов:

   • Kandinsky 5.0 T2V Lite SFT 5s — обеспечивает лучшее качество.

   • Kandinsky 5.0 T2V Lite distill 5s — работает в 6 раз быстрее с минимальной потерей качества.

   

   Интерфейс ComfyUI состоит из нод, которые соединены между собой в единый рабочий процесс. Ноды отвечают за разные этапы генерации изображений и видео.

   

4. В поле ноды expand_prompt введите на русском или английском языке текстовый промпт — описание сцены, которую хотите сгенерировать.

   Чем детальнее описание, тем точнее результат. Укажите объекты, действия, стиль, освещение.

   Пример промпта:

   A 1980s Soviet computing lab.
   Green glow fills the room from massive mainframes.
   A scientist in a white coat watches a monochrome monitor.
   In bold, flickering green letters, the words written and pulse at the center of the screen surrounded by blinking status lights and scrolling hex code.
   Reels spin.
   
   

5. В поле ноды Kandinsky5TextEncode укажите негативный промпт — элементы, которые нужно исключить из генерации.

   Пример негативного промпта:

   Static
   2D cartoon
   cartoon
   2d animation
   paintings
   images
   worst quality
   low quality
   ugly
   deformed
   walking backwards
   
   

6. Нажмите Запустить.

   Запустится процесс генерации видео. Если процесс не запустился, обновите страницу и повторите попытку.

7. Дождитесь завершения генерации.

Результат

• настроили среду в сервисе Notebooks;

• загрузили модель Kandinsky 5.0 Video Lite;

• освоили работу с ComfyUI;

• использовали GPU-ускорение;

• настроили хранение моделей в облаке;

• сгенерировали видео на основе текстового описания.