Маркетплейс AI Services пополнился новой версией нейросети для генерации изображений по текстовому запросу — Kandinsky

На данный момент это самая большая модель генерации изображений по текстовому описанию на русском языке, продолжение нейросетевого вычислительного проекта прошлого года ruDALL-E. В ноябре была выпущена модель ruDALL-E XL, содержащая 1,3 млрд параметров. Код был выложен в открытый доступ, а на его основе запущен сервис генерации изображений.

Также в ноябре была анонсирована эксклюзивная модель ruDALL-E XXL c 12 миллиардами параметров, в декабре её опубликовали на маркетплейсе AI Services.

В этом году команды Sber AI и SberDevices смогли существенно улучшить качество работы этой модели, дообучив её на 179 млн изображений, снабженных текстовыми описаниями. Обучение велось на платформе ML Space.

Обновленная модель Kandinsky доступна по API и умеет генерировать изображения с произвольным соотношением сторон, а также может использовать новый способ повышения разрешения сгенерированных картинок. Дообученная модель также значительно лучше справляется с созданием реалистичных изображений, качественно передавая различные текстуры, тени и отражения.  

Создание изображений при помощи модели Kandinsky происходит в три этапа. Сначала одна нейросеть (непосредственно Kandinsky), используя текстовое описание, генерирует заданное число изображений. Затем вторая (ruCLIP Large) выбирает наиболее удачные и максимально соответствующие заданному текстовому описанию картинки, а потом третья (Diffusion Model, или Real ESRGAN) увеличивает их в размере. Итогом работы модели является набор сгенерированных изображений высокого качества. 

Ключевым отличительным преимуществом модели Kandinsky по сравнению с моделью XL и XXL является более высокая степень детализации создаваемых изображений. 

На данный момент оценить возможности модели могут все пользователи, зарегистрированные на платформе ML Space, а также обладатели умных устройств с ассистентом «Салют»: для генерации изображения, достаточно сказать «включи художника». 

Получить тестовый доступ к Kandinsky могут юридические лица и ИП, заполнив форму по ссылке с пометкой «Kandinsky» в поле комментария.  

Подробная техническая статья про обучение модели и ее возможности представлена по️ ссылке.