  
  ![Изображение](https://cdn.cloud.ru/backend/marketplace/images/cloudhood_banner.png)
  
  ### Как установить сервис и начать им пользоваться

  - Перейдите на [страницу расширения Cloudhood](https://chromewebstore.google.com/detail/cloudhood/hohljodjndmmaiedadcdmnelgdfnbfgp?hl=ru&utm_source=ext_sidebar) в интернет-магазине chrome
  - Нажмите **Установить** и разрешите установку расширения
  
  Расширение установится и автоматически будет включено. Чтобы начать им пользоваться, нажмите на иконку Cloudhood.
  

Браузерное расширение для изменения запросов

Cloudhood

Создание RESTful API, обработка запросов клиентов и взаимодействие с базами данных

Разработка серверной части веб-приложений

Разработка чатов, игр и систем мгновенного обмена сообщениями, где требуется быстрый обмен данными в реальном времени

Реализация realtime- приложений

Написание скриптов для автоматизации задач, таких как сборка проектов, тестирование и развёртывание

Создание инструментов и утилит для автоматизации разработки

Node.JS — среда, которая позволяет использовать JavaScript для создания серверной части веб-приложений. Асинхронное выполнение кода позволяет обрабатываеть большое количество запросов одновременно. Благодаря этому Node.JS подходит для разработки realtime-приложений, веб-серверов, API.
Nginx распрстраняется бесплатно. Оплачивается только используемая инфраструктура.

Среда для разработки серверных и десктоп-приложений на JavaScript

Node.JS

LEMP-стек предоставляет все необходимые инструменты для разработки, тестирования и запуска веб-приложений.

Создание и запуск веб-приложений

Nginx, входящий в состав LEMP-стека, может обрабатывать большое количество запросов одновременно, что позволяет разработчикам создавать высоконагруженные веб-приложения.

Обработка запросов

MySQL, также входящий в состав LEMP-стека, предоставляет разработчикам возможность управлять данными и создавать сложные запросы к базе данных.

Управление базами данных

LEMP-стек является гибким и масштабируемым решением, которое позволяет разработчикам быстро и эффективно создавать высококачественные веб-приложения. Он предоставляет все необходимые инструменты для работы с базами данных, обработки запросов и создания динамического контента. Кроме того, LEMP-стек поддерживает множество расширений и плагинов, что позволяет разработчикам настраивать его под свои нужды. Включает в себя Nginx, MySQL и PHP.

LEMP: гибкость и масштаб для веб-разработки.

LEMP

Стек MEAN позволяет разработчикам создавать масштабируемые и эффективные веб-приложения, объединяя фронтенд- и бэкенд- разработку под одной платформой.

Разработка полноценных веб-приложений

Благодаря AngularJS, разработчики могут создавать быстрые и интерактивные SPA, которые обеспечивают плавный пользовательский опыт, аналогичный нативным приложениям.

Создание одностраничных приложений (SPA)

Использование MongoDB в стеке MEAN облегчает хранение и работу с данными в формате JSON, что идеально подходит для приложений, требующих обработки данных в реальном времени.

Работа с базами данных в реальном времени

MEAN позволяет реализовать все части приложения на одном языке программирования — JavaScript. За счет единого языка проекта бизнес может снизить время и затраты на обучение команды, упростить поддержку и масштабирование приложений. Гибкость и масштабируемость MEAN поддерживают быстрый рост и адаптацию к изменяющимся бизнес-требованиям, улучшая конкурентоспособность на рынке.

Создание веб-проектов с MongoDB, Express, Angular, Node

MEAN

Nginx — веб-сервер, который также работает как обратный прокси-сервер и балансировщик нагрузки. Благодаря эффективной обработке большого количества соединений Nginx подходит для высоконагруженных веб-проектов. Он позволяет значительно ускорить загрузку сайтов и сервисов и повысить их доступность для пользователей.

Мощный веб-сервер для создания высоконагруженных проектов

Nginx

Сочетание Linux, Apache, MySQL и PHP, дает возможность создавать интерактивные форумоы, онлайн-магазины, блоги, системы управления контентом (CMS) и другие веб-решения, которые требуют обработки и хранения данных в реальном времени.

Создание динамичных веб-сайтов и веб-приложений

Технологии PHP и MySQL предоставляют инструменты для создания RESTful или SOAP API, в то время как Apache обеспечивает надёжную платформу для их развёртывания и тестирования.

Разработка и тестирование API для веб-сервисов

Инструмент позволяет оптимизировать приложения, используя возможности кэширования Apache, улучшать производительность баз данных с помощью продвинутых функций MySQL, а также использовать различные фреймворки и библиотеки PHP для повышения эффективности кода. Linux предоставляет стабильную и безопасную операционную систему, которая может быть настроена для обеспечения высокой доступности и отказоустойчивости веб-приложений.

Масштабирование и оптимизация существующих веб-проектов

LAMP-стек предоставляет разработчикам мощный набор инструментов для создания веб-приложений. Linux обеспечивает стабильную ОС, Apache — надёжный веб-сервер для обработки запросов, MySQL — эффективное управление данными, а PHP — гибкость в разработке динамического контента. Эта комбинация позволяет быстро разрабатывать, тестировать и масштабировать веб-проекты, предоставляя гибкость в настройке и оптимизации для высокой производительности.

Если у вас еще нет личного кабинета, [зарегистрируйтесь](https://console.cloud.ru/) в Cloud.ru.

Войдите в личный кабинет.

И следуйте [пошаговой инструкции](https://cloud.ru/ru/docs/marketplace/ug/topics/getting-started.html) для настройки.

В правом верхнем углу нажмите Создать ВМ.

Как подключить и настроить

Ускорьте разработку с LAMP: Linux, Apache, MySQL, PHP

LAMP

Администрирование

 Контроль и сопровождение встреч, диагностика проблем пользователей
 
 Только для своих

 Запрет на подключение неавторизованным пользователям
 
 Зал ожидания

 Для контроля подключения участников
 
 Водяные знаки

 Для защиты контента при демонстрации экрана

Гибкие настройки и полный контроль над конференциями

Контроль

Часть инфраструктуры

 SaluteJazz можно встроить в HR-платформу, корпоративный мессенджер, портал для разработчиков
 
 SDK и API
 
 SDK и API позволят встроить в сервис в HR-платформы, корпоративные мессенджеры порталы для разработчиков и другие внутренние системы компании

Развертывание системы в контуре заказчика

Внедрение

Защищенные протоколы

 Работает на базе открытой библиотеки WebRTC, используя защищенный RTCP-видеопротокол

 Для облачных версий
 
 Шифрование

 SRTP-шифрование, версия интегрируется с SIEM, DLP

По банковским стандартам

Безопасность


## Внутри много полезного
Генерация изображений решает следующие задачи, которые не может решить поиск:

- Безлимитные звонки
- Расшифровка речи
- Одновременная демонстрация экрана
- Запись конференций
- Шумодав от NVIDIA

Попробуйте в браузере или десктоп-приложении

Или на мобильном устройстве

за одну бизнес-лицензию

Бизнес

Корпоративный

В тарифы входят базовые лицензии для всех сотрудников. Для такого типа лицензий доступна вся основная функциональность сервиса, включая участие в закрытых встречах.

Сервис разворачивается на инфраструктуре Cloud.ru

Цена в год на лицензию. Тариф Бизнес доступен до 100 лицензий, тариф Корпоративный — от 100.

Тарифы

Безопасные видеоконференции для вашего бизнеса

SaluteJazz

Конференции удобные для вас и безопасные для бизнеса

SaluteSpeech использует технологию Automatic Speech Recognition (ASR).
Она позволяет:

- Снижать фоновые шумы
- Определять конец высказывания
- Выявлять эмоции в диалоге
- Расставлять знаки препинания и букву «ё»


Как работает распознование голоса


        - Технология Text to speech (TTS) генерирует речь на русском и английском языке, которая звучит, как голос человека. В зависимости от бизнес-задач можно выбрать строгий или эмоциональный тембр, настроить скорость речи и паузы и озвучить текст любой сложности и стиля.
        - Технология TTS использует уникальные речевые ML-модели для расстановки ударений и произношения. Это помогает сократить количество искажений слов. А ещё технология справляется с адресами, именами, цифрами и другими сложными словами за счёт комплекса нормализации текста.
        

Как работает озвучка текста


- С их помощью можно сделать голосовое меню, озвучить контент и автоматизировать контактный центр. Можно создать собственный голос или использовать готовый из каталога.


Как SaluteSpeech может помочь бизнесу


- Лёгкая интеграция по API и On-prem установка на сервера компании. Всё зависит от задач и требований клиента.


Какие есть варианты внедрения решения


### Применение

- Автоматизация телефонии
- Анализ работы персонала и качества сервиса
- Озвучивание контента
- Транскрибация

### Кто может пользоваться сервисом

- SaluteSpeech могут использовать как организации, так и физические лица
- Для некоммерческого использования сервис бесплатный, каждый месяц дается 100 минут распознавания речи и 200 000 символов для озвучки

Распознавание и синтез речи — удобный интерфейс взаимодействия с вашим продуктом

Сервис для синтеза и распознавание речи

SaluteSpeech

Как это работает

Работа со всеми системами налогообложения

НПД, Патент, УСН, ОСНО и АУСН

Отчетность всегда в срок

Формирование и отправка отчетов в ФНС онлайн. Лицензия «1С-Отчетность» для сдачи отчетности входит в подписку

Управление финансами и товарами

Учет доходов и расходов, контроль остатков, анализ движения товаров и денежных средств

Онлайн-работа с банками

Платежи и получение выписок напрямую в программе

Работа с документами

Счета на оплату, акты, накладные, шаблоны договоров

Кадровый учет сотрудников

Расчет зарплаты, НДФЛ, взносов и кадровый учет

Возможности для решения ваших задач

Контролируйте бизнес из любой точки

Работайте везде, где есть интернет – на компьютере или смартфоне. Выставляйте счета клиентам и принимайте онлайн-платежи.

Программа сама рассчитает налоги, напомнит о сроках сдачи отчетов и сформирует их

Сдавайте отчетность в налоговую через интернет, не выходя из дома.

Понятная аналитика

Смотрите отчеты по работе – продажи, деньги, склад, расчеты и другое.

Удобный интерфейс

Используйте списки задач, напоминания, графики показателей деятельности.

Надежный и простой сервис для вашего бизнеса


### Кто может пользоваться сервисом

- Подходит для ИП, ООО и самозанятых.


6 000₽ за 12 мес

ИП без сотрудников

7 800₽ за 12 мес

УСН и Патент с сотрудниками

10 200₽ за 12 мес

ОСН (НДС + сотрудники) без бухгалтера

14 400₽ за 12 мес

Премиум

УСН

ОСН

Цена за лицензию в месяц. Дополнительные условия доступны при оплате тарифа на год.

Удобная онлайн-бухгалтерия для предпринимателей. Не требует знания бух.учета

1С:БизнесСтарт

### Применение
 - Разработка и тестирование ПО.
 - Администрирование высоконагруженных серверов и приложений.
 - Знакомство с ОС Linux.

Пользовательская документация

Образ дистрибутива Ubuntu 18.04 LTS Jammy Jellyfish для виртуальных машин OCP

Ubuntu 18.04 LTS

Дистрибутив операционной системы Linux от Red Hat, основанный на коммерческом дистрибутиве Red Hat Enterprise Linux. CentOS предназначен для корпоративного использования и стабильной работы проектов. Срок поддержки каждой версии CentOS составляет 10 лет.

Образ дистрибутива CentOS 9 для виртуальных машин OCP

CentOS 9

Образ дистрибутива Ubuntu 22.04 LTS Jammy Jellyfish для виртуальных машин OCP

Ubuntu 22.04 LTS

Образ дистрибутива Ubuntu 20.04 LTS Jammy Jellyfish для виртуальных машин OCP

Ubuntu 20.04 LTS

Стабильный и надежный дистрибутив Linux, содержащий более 59000 пакетов в официальных репозиториях. Debian часто используется в качестве основы для разработки приложений, а также других дистрибутивов Linux для разных платформ.

Образ дистрибутива Debian 12 для виртуальных машин OCP

Debian 12

Стабильный и простой в использовании дистрибутив Linux, ориентированный на разработчиков и системных администраторов.  Дистрибутив регулярно обновляется и требует минимального обслуживание ОС.

Образ дистрибутива openSUSE Leap 15.2 для виртуальных машин OCP

openSUSE 15.2

Дистрибутив Linux с минимальным окружением и автоматическим обновлением ОС. Используется как безопасная среда для запуска приложений в контейнерах.

Образ дистрибутива Fedora для виртуальных машин OCP

Fedora 38

Образ дистрибутива CentOS 8 для виртуальных машин OCP

CentOS 8

Образ дистрибутива CentOS 7 для виртуальных машин OCP

CentOS 7

**Новости о модели:**

habr (tutorial): ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка [ссылка](https://habr.com/ru/company/sberbank/blog/567776/)

Github: репозиторий Model-Zoo с примерами [ссылка](https://github.com/sberbank-ai/model-zoo) 

**Информация об использовании модели:**

Примеры кода с использованием модели находятся на [GitHub](https://github.com/sberbank-ai/ru-gpts)

## Installation

```jsx
!pip install datasets transformers[sentencepiece]
```

## Mask Filling

Модель можно дообучить для любой классической задачи NLP, включая классификацию текстов, кластеризацию, генерацию текстов.

Модель на инференсе без обучения выполняет задачу заполнения масок (пропусков), которые можно представить по образцу:

`Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>.` 

Вывод:

`<extra_id_0> на бензин`

`<extra_id_1> условии сохранения текущей ситуации`

Пример запуска генерации: 

- простой способ - с помощью pipeline
- классический способ - отдельный импорт модели и токенизатора

```jsx
# ruBert-base example 
from transformers import BertForMaskedLM,BertTokenizer, pipeline
model=BertForMaskedLM.from_pretrained('sberbank-ai/ruBert-base')
tokenizer=BertTokenizer.from_pretrained('sberbank-ai/ruBert-base', do_lower_case=False)
unmasker = pipeline('fill-mask', model=model,tokenizer=tokenizer)

[i['sequence'] for i in unmasker("Python - это самый [MASK] язык программирования.")]
```

`['Python - это самый популярный язык программирования.',
 'Python - это самый современный язык программирования.',
 'Python - это самый сложный язык программирования.',
 'Python - это самый простой язык программирования.',
 'Python - это самый распространённый язык программирования.']`

## KF Serving

Класс `KFServingRuBertLargeModel` представлен ниже.

Работа с моделью возможна в 2 вариантах:

1. режим кодировки `("mode": "encoding")` - получение векторных представлений текста
2. режим денойзинга `("mode": "fill-mask")` - заполнение масок-пропусков в тексте:

`'Снижение цен <extra_id_0> в Москве возможно только при <mask>. '`

`fill-mask` является режимом по умолчанию, если режим не указан в запросе.

При режиме возможно использование как маски вида `<mask>`, так и `[MASK]`.

В режиме `fill-mask` можно ранжировать переданных кандидатов на заполнение маски с помощью списка кандидатов в ключе `targets` :

```jsx

res = model.predict({"instances": [{"text": "Его зовут <mask> и он инженер живущий в Нью-Йорке.", "mode": "fill-mask",
 "targets": ["Майкл", "Таня", "Антон", "Джон"]}]})
```

Независимо от режима работы, функция predict возвращает словарь вида: 

`predictions: {‘text’: ‘’, ‘extra_id_..’: ‘’}`

```jsx
class KFServingRuBertLargeModel(kfserving.KFModel):
 def __init__(self, title: str, model_path="ruBert-large/"):
 super().__init__(name)
 self.name = name
 self.ready = False
 self.model_path = model_path

 def load(self):
 self.model = BertForMaskedLM.from_pretrained(self.model_path)
 self.tokenizer = BertTokenizer.from_pretrained(self.model_path, do_lower_case=False)
 self.encoder = BertModel.from_pretrained(self.model_path)
 self.pipeline = pipeline('fill-mask', model=self.model, tokenizer=self.tokenizer)
 self.ready = True

 def predict(self, request: Dict) -> Dict:
 raw_text = request['instances'][0]['text']
 top_k = request['instances'][0].get('top_k', 5)
 targets = request['instances'][0].get('targets', None)
 mode = request['instances'][0].get('mode', 'fill-mask')
 if mode=='fill-mask':
 pred, error = fill_mask(raw_text, self.pipeline, top_k, targets)
 if isinstance(pred, list):
 pred = predictions_preprocess(pred, targets)
 else:
 pred, error = encode(raw_text, self.encoder, self.tokenizer), None
 if error is None:
 return {"predictions": f"{pred}", "mode": str(mode)}
 else:
 return {"predictions": f"{pred}", "mode": str(mode), "error_message": error}
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ruBert_large import KFServingRuBertLargeModel

model = KFServingRuBertLargeModel("kfserving-rubert-large")
model.load()

#fill-mask
model.predict({"instances": [{"text": "Меня зовут [MASK] и я американский инженер живущий в городе <mask>.", "mode": "fill-mask"}]})

res = model.predict({"instances": [{"text": "Его зовут <mask> и он инженер живущий в Нью-Йорке.", "mode": "fill-mask",
 "targets": ["Майкл", "Таня", "Антон", "Джон"]}]})
```[{'sequence': 'Его зовут Джон и он инженер живущий в Нью - Йорке.',
 'score': 0.031892772763967514,
 'token': 4369,
 'token_str': 'Джон'},
 {'sequence': 'Его зовут Майкл и он инженер живущий в Нью - Йорке.',
 'score': 0.03039882332086563,
 'token': 11497,
 'token_str': 'Майкл'},
 {'sequence': 'Его зовут Антон и он инженер живущий в Нью - Йорке.',
 'score': 0.001293725916184485,
 'token': 8514,
 'token_str': 'Антон'},
 {'sequence': 'Его зовут Таня и он инженер живущий в Нью - Йорке.',
 'score': 5.728732139687054e-05,
 'token': 21756,
 'token_str': 'Таня'}]```

#encoding
res = model.predict({"instances": [{"text": "Её зовут Алена и она инженерка живущая в Нью-Йорке.", "mode": "encode"}]})
res["predictions"]
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/bottom-t5-bert.png)

Самая известная модель-encoder для русского языка, 178 млн параметров

Русская модель-encoder. Модель является языковой моделью, может определять вероятности следующего и пропущенного слова, а также эффективно представлять слова и тексты в векторном пространстве.  

ruBERT-base

С помощью датасета обучаются нейронные сети, направленные на обработку визуальных рядов и медицинских данных.

Обучение нейросетей

Датасет позволяет обучить нейронную сеть собирать результаты дистанционной фотоплетизмографии.

Дистанционная фотоплетизмография

В датасете представлен набор статических данных (например, рост и вес), которые так же можно использовать в медицинских данных.

Обработка статических данных

Датасет распространяется бесплатно, по лицензии CC BY 4.0. 
 Файл с описанием внутреннего устройства датасета прилагается в архиве.

Датасет результатов дистанционной фотоплетизмографии

Multi-Camera Dataset for rPPG

**Новости** 


💡 habr (tutorial): ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка [ссылка](https://habr.com/ru/company/sberbank/blog/567776/)




💡 Github: репозиторий Model-Zoo с примерами [ссылка](https://github.com/sberbank-ai/model-zoo)



**Информация об использовании модели**

Примеры кода с использованием модели находятся на [GitHub](https://github.com/sberbank-ai/ru-gpts)

## Installation

```jsx
!pip install datasets transformers[sentencepiece]
```

## Mask Filling

Модель можно дообучить для любой классической задачи NLP, включая классификацию текстов, кластеризацию, генерацию текстов.

Модель на инференсе без обучения выполняет задачу заполнения масок (пропусков), которые можно представить по образцу:

`Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>.` 

Вывод:

`<extra_id_0> на бензин`

`<extra_id_1> условии сохранения текущей ситуации`

Пример запуска генерации: 

- простой способ - с помощью pipeline
- классический способ - отдельный импорт модели и токенизатора

```jsx
# ruT5-base example

from transformers import pipeline

generator = pipeline("text2text-generation", model="sberbank-ai/ruT5-base")
generator(
 "Текст: С мая 2021 в России "
)

# ruT5-large example 
from transformers import T5ForConditionalGeneration,T5Tokenizer

model=T5ForConditionalGeneration.from_pretrained('sberbank-ai/ruT5-large')

tokenizer=T5Tokenizer.from_pretrained('sberbank-ai/ruT5-large',)
input_ids = tokenizer('Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>', return_tensors='pt').input_ids

out_ids=model.generate(input_ids=input_ids,
 max_length=30,
 eos_token_id=tokenizer.eos_token_id, 
 early_stopping=True)

tokenizer.decode(out_ids[0][1:])

#<extra_id_0> на бензин<extra_id_1> условии сохранения текущей ситуации<extra_id_2> ТАСС<extra_id_3>.</s>
```

Возможные примеры работы с затравками:

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и ихкорректных продолжений, затем целевая затравка.

**Совет:** чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`,`<|endoftext|>`,`<s>`,`</s>`, вы можете использовать для форматирования своих примеров.

## KF Serving

Класс `KFServingRuT5LargeModel` представлен ниже.

Работа с моделью возможна в 2 вариантах:

1. режим кодировки `("mode": "encoding")` - получение векторных представлений текста
2. режим денойзинга `("mode": "denoising")` - заполнение масок-пропусков в тексте:

`'Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>'`

denoising является режимом по умолчанию, если режим не указан в запросе.

Независимо от режима работы, функция predict возвращает словарь вида:

```
 predictions: {‘text’: ‘’, ‘extra_id_..’: ‘’}
```

```jsx
class KFServingRuT5LargeModel(kfserving.KFModel):
 def __init__(self, title: str, model_path="ruT5-large/"):
 super().__init__(name)
 self.name = name
 self.ready = False
 self.model_path = model_path
 self.model = T5ForConditionalGeneration.from_pretrained(self.model_path)
 self.tokenizer = T5Tokenizer.from_pretrained(self.model_path)
 self.encoder = T5EncoderModel.from_pretrained(self.model_path)

 def load(self):
 self.ready = True

 def predict(self, request: Dict) -> Dict:
 raw_text = request['instances'][0]['text']
 mode = request['instances'][0].get('mode', 'denoising')
 skip_special_tokens = request['instances'][0].get('skip_special_tokens', True)
 postprocess = request['instances'][0].get('postprocess', False)
 if mode == 'denoising':
 pred, error_msg = generate(
 raw_text, self.model, self.tokenizer,
 skip_special_tokens, postprocess
 )
 else:
 pred, error_msg = encode(raw_text, self.encoder, self.tokenizer), None
 if error_msg is None:
 return {"predictions": pred, "mode": str(mode)}
 else:
 return {"predictions": pred, "mode": str(mode), "error_message": error_msg}
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ruT5_large import KFServingRuT5LargeModel

model = KFServingRuT5LargeModel("kfserving-rut5-large")
model.load()

#denoising
model.predict({"instances": [{"text": "Хочу гороскоп на <extra_id_0> для овнов.", 
 "mode": "denoising", "skip_special_tokens": True}]})

#encoding
res = model.predict({"instances": [{"text": "Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>", "mode": "encode"}]})
res["predictions"]
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/bottom-t5-bert.png)

Русская Sequence2Sequence Model, 737 млн параметров

Русская Sequence2Sequence Model, 737 млн параметров.
Модель трансформера для русского языка, состоящая из анкодера и декодера. 
Модель решает задачу генерацию текстов, а также может быть обучена на широком списке NLP-задач.

ruT5 large


    ## Возможности

    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_1.png)
    Kandinsky 2.2 как и версия Kandinsky 2.1 даёт возможность генерировать картинки по текстовому описанию на русском или английском языках, а также может создавать вариации изображения, совмещать два изображения, а также изменять изображение по текстовому описанию. 

    В новой версии теперь можно создавать изображения более высокого разрешения (до 1024 пикселей) с различным соотношением сторон, а получающиеся результаты будут обладать высокой степенью фотореалистичности. В модели также появилась архитектурная опция ControlNet, которая позволяет контролировать вносимые в картинку изменения таким образом, чтобы не затронуть общую концепцию сцены.

    Архитектурно Kandinsky 2.2 не отличается от версии 2.1, но за счёт увеличения энкодера изображений для Image prior модели до версии CLIP ViT-g удалось повысить качество генераций. Также в рамках общей архитектуры мы перестали передавать текстовые эмбеддинги в диффузионную модель UNet.

    Среди нескольких возможных способов использования генеративной модели мы особое внимание уделили улучшению качества режима inpainting/outpainting. Эта функция даёт модели способность дорисовывать изображения на основе текстового описания.

    ## Преимущества

    Модель содержит 4.6 млрд. параметров, поэтому её можно развернуть на обычной GPU.

    Основное обучение моделей UNet и image prior составило 1M итераций и ещё 200k итераций файнтюнинга.

    В составе дополнительных данных для обучения мы использовали около 300 млн. новых высококачественных изображений и их описаний.

    ## Примеры генераций

    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_2.png)
    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_3.png)

    ## Инструкции по использованию

    1.&nbsp;Text-to-Image

    ```
    import torch
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )

    device = torch.device('cuda:0')

    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)

    img_emb = prior(
        prompt="a beautiful cat",
        num_inference_steps=25,
        num_images_per_prompt=1,
        negative_prompt=""
    ).image_embeds

    negative_decoder_prompt = "bad image, low resolution"
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=1
    )

    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds

    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        guidance_scale=5,
        num_inference_steps=50,
        height=1024,
        width=1024
    ).images
    ```

    2.&nbsp;Image Fusion

    ```
    import torch
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )
    
    device = torch.device('cuda:0')
    
    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)
    
    texts = ["a cat", "a dog"]
    text_weights = [0.5, 0.5]
    images = []
    image_weights = []
    
    negative_prior_prompt = ""
    negative_decoder_prompt = ""
    bs = 1
    
    img_emb = prior.interpolate(
        images_and_prompts=images+texts,
        weights=image_weights+text_weights,
        num_inference_steps=25,
        num_images_per_prompt=bs,
        negative_prompt=negative_prior_prompt
    ).image_embeds
    
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=bs
    )
    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds
    
    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        num_inference_steps=50,
        guidance_scale=5, 
        height=1024,
        width=1024
    ).images
    ```

    3.&nbsp;Image Variations

    ```
    import torch
    from PIL import Image
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )
    
    device = torch.device('cuda:0')
    
    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)
    
    img = Image.open("cat.png")
    
    negative_prior_prompt = ""
    negative_decoder_prompt = ""
    bs = 1
    
    img_emb = prior.interpolate(
        images_and_prompts=[img],
        weights=[1.0],
        num_inference_steps=25,
        num_images_per_prompt=bs,
        negative_prompt=negative_prior_prompt
    ).image_embeds
    
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=bs
    )
    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds
    
    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        num_inference_steps=50,
        guidance_scale=5, 
        height=1024,
        width=1024
    ).images
    ```

    ## Ccылки
    [GitHub](https://github.com/ai-forever/Kandinsky-2)
    

Новая диффузионная модель для генерации фотореалистичных изображений по тексту

Kandinsky 2.2

## Возможности

Сервис позволяет распознавать объекты на изображениях. Подходит для задач с высокими требованиями к качеству предикта. Модель может быть полезна для сортировки изображений в фотобанках, классификации типов документов, решения задач поиска объектов определенного класса на изображениях большого разрешения с множеством деталей (например, грузовики на запрещенном для грузового транспорта участке дороги).

## Пайплайн модели:

Единая нейронная сеть применяется к полному изображению. Сеть делит изображение на области, предсказывает ограничительные рамки и вероятности для каждой области. Ограничивающие рамки взвешиваются по прогнозируемым вероятностям.

## Преимущества

Модели семейства YOLO исключительно быстры и намного превосходят R-CNN (Region-Based Convolutional Neural Network) и другие модели. Это позволяет добиться обнаружения объектов в режиме реального времени!

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-1.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-2.png)

## Сценарии использования

Детектирование объектов в реальном времени

Модель может быть дообучена под специфические задачи. Такие как:

- медицинская диагностика по рентгеновским снимкам, гистологическим срезам и т.д.;
- распознавание утечек на изображениях аэрофотосъемки;
- визуальный контроль исправности деталей, качества производственного сырья и др;
- определение нарушений, связанных с присутствием определенного класса объектов в запрещенных локациях, например: дети в опасных зонах, фаера на трибунах стадионов, люди на небезопасном расстоянии от строительной техники.

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

## Запрос

 ```
{ "instances":[ { "image": "your base64 string" } ] }
```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-4.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-5.png)

## Полезные сcылки

GitHub - [https://github.com/thtrieu/darkflow](https://github.com/thtrieu/darkflow)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/tensorflow/tensorflow/blob/master/LICENSE)

Модель повышенного качества для распознавания классов объектов.

Full Object Detection


### Возможности

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kadinsky_v2_detailed_1.png?v=1)

Kandinsky 2.0 даёт возможность генерировать картинки по текстовому описанию на одном из 101 языков или на комбинации из этих языков, а также дорисовывать недостающие части изображения и создавать картины по наброску.

Архитектура Kandinsky 2.0 относится к классу диффузионных моделей с обуславливанием. Основная идея данного подхода заключается в постепенном восстановлении картинки из шума, путём движения в сторону максимизации правдоподобия на реальных картинках. Степень этого движения предсказывается нейронной сетью UNet на каждом обратном шаге диффузии. Обуславливание на текст реализован за счёт добавления слоёв перекрёстного внимания в архитектуру сети UNet. Отметим, что обучение UNet происходило не напрямую в пространстве изображений, а в латентном пространстве сети KL-AE.

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_2.png?v=1)
Архитектура Kandinsky 2.0

Процесс обучения Kandinsky 2.0 состоял из трёх частей:

1. Предобучение на данных с разрешением картинок 256x256
2. Обучение на данных с разрешением картинок 512x512
3. Обучение на сильно отфильтрованных данных (100M) с разрешением 512x512

Для решения задач inpainting и outpainting обучались дополнительно со случайным маскированием областей изображений.

### Преимущества

Модель содержит 2 млрд. параметров, поэтому её можно развернуть на обычной GPU. Высокой скорости инференса модели удалось также добиться за счёт того, что необходимые для генерации картинки текстовые эмбеддинги могут быть посчитаны отдельно на CPU.

### Сценарии использования

1. Генерация картинки по тексту 

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_3.png?v=1)
Железный человек on the Moon 背景中的烟花

2. Inpainting
3. Outpainting

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_4.png?v=1)
Зелёная планета в космосе

4. Картина по наброску

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_5.png?v=1)


### Инструкции по использованию

1. Text2Img
```
from natalle.natalle_model import Natalle

config_name = 'inference.yaml'
path2weights = 'natalle.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='text2img')
images = model.generate_text2img('caption', batch_size=2, h=512, w=512)
```

2. Img2Img
```
from natalle.natalle_model import Natalle
from PIL import Image

config_name = 'inference.yaml'
path2weights = 'natalle.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='img2img')
init_image = Image.open('image.jpg')
images = model.generate_img2img('caption', init_image, strength=0.6)
```

3. Inpainting and Outpainting
``` 
from natalle.natalle_model import Natalle
from PIL import Image
import numpy as np

config_name = 'inference.yaml'
path2weights = 'natalle_inpainting.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='inpainting')
init_image = Image.open('image.jpg')
mask = np.ones((512, 512), dtype=np.float32)
mask[100:] =  0
images = model.generate_inpainting(
'caption', init_image, mask, guidance_scale=7, num_steps=50
)
```

### Ccылки

[GitHub](https://github.com/ai-forever/NATALLE)


Мультиязычная диффузионная модель для генерации изображений по тексту

Kandinsky 2.0


### Описание проблемы

В современном мире поток знаний непрерывен, каждый день происходит множество событий в спорте, науке, искусстве и т. д. Однако, когда мы обучаем большую нейросетевую языковую модель, мы обычно берем срез данных, доступных в интернете или других источниках на текущий момент, таким образом, наша модель не будет обладать знаниями о том, что произошло в 2021 году, если мы обучали ее в 2020. Поэтому мы хотим иметь такую языковую модель, которая обладает актуальными знаниями в каждый момент времени: сегодня, через неделю или даже через несколько месяцев, но при этом она должна помнить еще и старые знания. Однако обычный fine-tuning языковых моделей на новых данных приводит к проблеме катастрофического забывания - нейронная сеть теряет старые знания и переобучается.

### Преимущества

Модель обладает актуальными знаниями на 17 октября 2022 года, и при этом помнит датасет, на котором обучалась базовая модель - перплексия на оригинальном датасете не выше **20** (базовая модель **13.6**). Перплексия на валидационных датасетах новостных источников также в районе **20**.

Далее планируется продолжить актуализировать модель каждый день/неделю.

### Сценарии использования

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст.

**Входные параметры инференса:**

*Обязательные параметры:*

```text``` - текст для продолжения

*Необязательные параметры:*

```top_k``` - параметр top_k текста для генерации. дефолтное значение 5

```top_p``` - параметр top_p текста для генерации. дефолтное значение 0.95

```repetition_penalty``` - штраф за повторные реплики. дефолтное значение 1.5

```length``` - длина продолженного текста (не больше 1535). дефолтное значение 250

```seed``` - random seed. дефолтное значение выбирается случайно

**Выходные параметры инференса.** 

Возвращается словарь со следующими полями:

```predictions```- текст, продолженный моделью

### **Примеры:**

*Запрос:*

```
{"instances": [{ "text": "Александр Сергеевич Пушкин родился в"}]}
```

*Результат:*

```
{'predictions': ['Александр Сергеевич Пушкин родился в 1799 году в селе Михайловское (ныне Пушкинский район Псковской области) в крестьянской семье. Его отец, Александр Сергеевич Пушкин, происходил из старинного дворянского рода. ']'}}
```

*Запрос:*

```
{"instances": [{ "text": " Заголовок: Минпросвещения запретило учителям использовать WhatsApp"}]}
```

*Результат:*

```
{'predictions': ['Заголовок: Минпросвещения запретило учителям использовать WhatsApp при работе в школах
Текст: Министр просвещения Ольга Васильева /tags/personsiya-olgaeva), возглавляющий ведомство, не дала своим подчиненным и их коллегам по министерству разрешения на использование мобильного телефона во время уроков. Об этом «Известиям» сообщил источник из министерства образования России. ']'}}
```


### Дисклеймер

При использовании модели ruGPT-3 Large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством модели.


Molotilka ruGPT-3 Large - это современная модель генерации текста для русского языка, содержит 760 миллионов параметров.

ruGPT-3 Large - это современная модель генерации текста для русского языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165). Она была взята в качестве базовой модели для Molotilka ruGPT-3 Large - это модификация модели с использованием технологии [adapters](https://aclanthology.org/2020.emnlp-main.617/) и разработанного инструмента Molotilka (ML Toolkit for continuous learning). Модель Molotilka ruGPT-3 Large содержит 760 миллионов параметров. Модель обучалась с длиной контекста 1536 токенов на данных нескольких новостных источников начиная с 1 мая 2022 года каждый день вплоть до 17 октября 2022 года на 4 gpu.

Molotilka ruGPT-3 Large

## Возможности

Решение от Napoleon IT позволяет ритейлерам определять цены и классифицировать товары на изображениях. Автоматизируется процесс ручного сбора данных мониторинга цен и товаров конкурентов.

**Описание сервиса:** Сервис состоит из нескольких моделей, которые позволяют последовательно распознать товары и ценники по изображениям. Product analyzer обучен на изображениях из Российских ритейл сетей.

**Пайплайн моделей:**

1. Находит координаты всех товаров и ценников на изображении
2. На ценниках находит область цены
3. OCR модель распознает цены на ценниках
4. Извлекает из изображений товаров вектора, отличимые в векторном пространстве. Эти векторы сравниваются с эталонными и если значение меньше порогового, то это означает принадлежность к классу.

**Под каждую задачу используются следующие модели:**

Детекция:

- EfficientDet5

Feature Extraction:

- ResNet обученный с применением ArcFace Loss

Детектирование цены в области ценника:

- Unet

OCR:

- AttentionOCR, обученная на миллионах примеров вырезанных цен

### Преимущества

Бизнес преимущества: автоматизация процесса ручного сбора данных мониторинга цен и товаров конкурентов, а также автоматизированный контроль раскладки товаров.

Технические: Сервис уже собран в общий пайплайн распознавать и позволяет находить все товары и ценники, считывать текст цены и классифицировать товар без дополнительного обучения моделей, с помощью сравнения векторов признаков с эталонными.

### Сценарии использования

- **Мониторинг цен**

Изначально формирование цены на товарные позиции в крупном магазине складывается из нескольких десятков переменных: затраты на закупку, логистику, выплату налогов, а также маржа, эластичность спроса, стоимость аналогов в других торговых сетях и пр. Чтобы их отслеживать, можно использовать ценовой мониторинг. Это система, которая по фотографии распознает товары на полках, их объем и цены, а затем агрегирует их стоимость у разных ритейлеров. Фото стеллажей в магазинах-конкурентах делают специальные сотрудники — мониторщики.

**Как использовать?** Ваш сотрудник отправляется на конкурентную разведку в ближайший магазин и присылает фотографии полок с товарами. Далее вы хотите распознавать товары на этих изображениях. Вы отправляете их на сервис, в ответ получаете все координаты товаров и их цен, а также вектора товаров, извлеченные моделью, которые можно сравнить с эталонными векторами полученными из фотографий в базе товаров.

- **Контроль выкладки товаров**

Ритейлер может легко потерять покупателей, если полки его магазинов окажутся пустыми: никто не захочет заходить в несколько супермаркетов, чтобы приобрести все необходимое. Данное решение позволяет избежать подобной ситуации, поможет отследить количество продуктов на стеллажах и сформировать заявки на закупки.

**Как использовать?** Для проверки уровня заполненности полки в магазине необходимо ее сфотографировать. Далее отправить на сервис, в ответ получить все координаты товаров, на основе которых определяется сколько пространства заполнено товарами.

### Инструкции по использованию

```
import base64
import requests
# считать изображение в байтах
with open("test_image.jpg", "rb") as fp:
 encoded_string = base64.b64encode(fp.read()).decode("utf-8")

headers = {
 "content-type": "application/json",
 "x-api-key": "your-api-key",
 "x-workspace-id": "your-workspace-id"
}

# отправить запрос на распознавание
results = requests.post(
	server_url, json={"image": encoded_string}, headers=headers
)

image_recognition_results = results.json()["raw_shelf_results"]

product_contours = image_recognition_results["raw_product_contours"]
pricetag_contours = image_recognition_results["raw_pricetag_contours"]
price_contours = image_recognition_results["raw_price_contours"]
```

Ответ от сервиса приходит в формате json:

```
"raw_shelf_results":
 {
 "raw_product_contours": Список задетектированных товаров на изображении и их эмбеддинги
 [
 {
 "coords": [x, y, width, height] - Координаты товаров на изображении
 "embedding": [] Вектор 512 значений, извлеченный из задетектированного товара
 }
 ]
 "raw_pricetag_contours": Список задетектированных ценников на изображении
 [
 {
 "coords": [x, y, width, height] - Координаты ценников на изображении
 }
 ]
 "raw_price_contours": Список распознанных цен на изображении, координаты и вероятности распознаваний
 [
 {
 "coords": [x, y, width, height] - Координаты цен на изображении
 "price": str Распознанная на изображении цена (рубли и копейки)
 "proba": float Вероятность распознанной цены
 }
 ]
 }
```

Отрисовать результаты распознавания на изображении можно следующим образом:

```
import cv2
import matplotlib.pyplot as plt

def plot(src, cmap=None, title=None, size=(10, 10)):
 %matplotlib inline
 plt.rcParams["figure.figsize"] = size
 plt.imshow(src, cmap)
 plt.title(title)

def plot_boxes(img, contours: list, color=None, labels=None, line_thickness=None):
 if not labels:
 labels = [None for i in range(len(contours))]
 # Plots one bounding box on image img
 for contour, label in zip(contours, labels):
 tl = line_thickness or round(0.002 * (img.shape[0] + img.shape[1]) / 2) + 1 # line/font thickness
 c1, c2 = (contour[0], contour[1]), (contour[2]+contour[0], contour[3]+contour[1])
 img = cv2.rectangle(img, c1, c2, color, thickness=tl, lineType=cv2.LINE_AA)
 if label:
 tf = max(tl - 1, 1) # font thickness
 t_size = cv2.getTextSize(label, 0, fontScale=tl / 3, thickness=tf)[0]
 c2 = c1[0] + t_size[0], c1[1] - t_size[1] - 3
 cv2.rectangle(img, c1, c2, color, -1, cv2.LINE_AA) # filled
 cv2.putText(img, label, (c1[0], c1[1] - 2), 0, tl / 3, [0, 0, 0], thickness=tf, lineType=cv2.LINE_AA)
 return img
```

```
image = cv2.cvtColor(cv2.imread("test_image.jpg"), cv2.COLOR_BGR2RGB)
plot(img, title=image_name)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-1.png)

```
products_img = plot_boxes(
 image,
 [i["coords"]
 for i in product_contours],
 color=(0, 255, 0),
 labels=["product" for i in range(len(product_contours))]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-2.png)

```
pricetags_img = plot_boxes(
 image,
 [i["coords"] for i in pricetag_contours],
 color=(255, 0, 0),
 labels=["pricetag" for i in range(len(pricetag_contours))]
)

prices_img = plot_boxes(
 pricetags_img,
 [i["coords"] for i in price_contours],
 color=(125, 125, 125),
 labels=[i["price"] for i in price_contours]
)

plot(prices_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-3.png)

### Классификация товаров

В данном случае классификация товаров происходит путем расчета Евклидова расстояния между извлеченными векторами, товар считается классифицированным по достижению порогового значения расстояния. Модель извлечения вектора из изображения обучена таким образом, что расстояние между векторами похожих изображений минимизируется а между векторами разных изображений максимизируется.

База с товарами, которые мы будем классифицировать в таком случае будет выглядеть как изображения товаров и извлеченные из них вектора той же длины и той же моделью.

Добавить свой товар в базу для распознавания можно путем добавления фотографий этого товара с разных ракурсов(чем больше вариативность тем лучше) и извлечения векторов из этих изображений. Таким образом у нас реализован подход Zero-shot learning, для добавления нового класса нам не нужно переобучать модель.

Отправим изображение для извлечения вектора и создадим базу товаров :

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-4.png)

```
import base64

with open("adrenalin.jpg", "rb") as fp:
 encoded_string = base64.b64encode(fp.read()).decode("utf-8")

results = requests.post(server_url, json={"image": encoded_string}, headers=headers)

image_recognition_results = results.json()["raw_shelf_results"]

product_contours = image_recognition_results["raw_product_contours"]
pricetag_contours = image_recognition_results["raw_pricetag_contours"]
price_contours = image_recognition_results["raw_price_contours"]

# проверим, что товар корректно задетектился
img = cv2.cvtColor(
cv2.imread(f"adrenalin.jpg"), cv2.COLOR_BGR2RGB)

products_img = plot_boxes(
 img.copy(),
 [i["coords"]
 for i in product_contours],
 color=(0, 255, 0),
 labels=["product" for i in range(len(product_contours))]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-5.png)

```
from scipy.spatial import distance

def find_closest(desc_1, base):
		"функция классификации по векторному расстоянию"
 dists = []

 for d in base:
 desc_2 = d["desc"]
 dist = distance.euclidean(desc_1, desc_2)
 dists.append(dist)
 ind = int(np.argmin(dists))
 sku = base[ind]["sku"]
 return sku, dists[ind]
```

```
# добавим в базу извлеченный вектор
base = [{"sku": "adrenaline", "desc": product_contours[0]["embedding"]}]

# фильтруем вектора найденных контуров по расстоянию до вектора из base
matched_contours = []

distance_threshold = 0.7
for product_contour in product_contours:
 product_embedding = np.array(product_contour["embedding"])
 closest_product, dist = find_closest(product_embedding, base)
 if dist <= distance_threshold:
 matched_contours.append((product_contour["coords"], closest_product))

img_copy = img.copy()

products_img = plot_boxes(
 img.copy(),
 [i[0] for i in matched_contours],
 color=(0, 255, 0),
 labels=[i[1] for i in matched_contours]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-6.png)

### Ccылки

[https://arxiv.org/abs/1801.07698](https://arxiv.org/abs/1801.07698)

[https://arxiv.org/abs/1911.09070](https://arxiv.org/abs/1911.09070)

[https://arxiv.org/pdf/1704.03549.pdf](https://arxiv.org/pdf/1704.03549.pdf)

[https://arxiv.org/abs/1505.04597](https://arxiv.org/abs/1505.04597)

Сервис детектирования и распознавания товаров и цен на изображениях

Products analyzer

**Zero-Shot Text-to-Image Generation.**

Демо русской text-to-image модели, генерирующей изображения по тексту. 

ruDALL-E XL 1.3B (1.3 млрд параметров) + ruCLIP 

### **Новости**

- [Habr: ruDALL-E - генерируем изображения по текстовому описанию, или Самый большой вычислительный проект в России](https://habr.com/ru/company/sberbank/blog/586926/)
- [VC: Вы синиц показываете? Красивое!: что сгенерировали пользователи с помощью нейросети ruDALL-E](https://vc.ru/dev/314812-vy-sinic-pokazyvaete-krasivoe-chto-sgenerirovali-polzovateli-s-pomoshchyu-neyroseti-rudall-e-ot-sbera)

### Подробнее **о модели**

Примеры кода с использованием модели: [GitHub](https://github.com/sberbank-ai/ru-dalle)

Статья OpenAI: [ссылка](https://arxiv.org/pdf/2102.12092.pdf)

Галлерея ruDALL-E: [ссылка](https://rudalle.ru/)

### Технические параметры

- Размер файлов:
 - ruDALL-E XL 1.3B - 2.48 GB
 - VQGAN - 321 MB
 - SuperResolution - 67 MB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: DALL-E, ruDALL-e, pytorch, text2image, image generation, NLP, CV
- Формат: checkpoint
- Версия: 0.1

### **Применение**

Генерация изображений решает две важные задачи, которые не может решить поиск: 

1) позволяет учесть точное описание желаемого

2) создаёт изображение, которое раньше не существовало. 

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Код в демо решает следующие задачи:

1. генерация изображений по текстовому описанию
2. выбор (ранжирование) самого релеватного и качественного изображения из сгенерированных с помощью модели ruCLIP
3. увеличение разрешения изображения в 2, 4, 8 раз - super resolution 

Пример: "*шикарная гостиная с зелеными креслами у окна"*

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/rudalle_xxl_1.png?v=1)

### Описание работы модели

**Шаг 1.** Генерация изображения по тексту:

```jsx
dalle = DalleText2Image('open-ru-dalle/configs/dalle_xl.yml', torch.device('cuda:0'))
dalle._seed_everything(42)

images = dalle.generate_images(
 text='озеро в горах, а рядом красивый олень пьет воду',
 top_k=1024, top_p=0.99,
 images_num=24,
 )
dalle.show(images, 24)
```

Результат:

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_1.png?v=1)

<aside>
💡 Подсказка: вы можете делать перебор параметров top_k и top_p, меняя степень абстрактности изображения. 
Рекомендуемые параметры: top_k=0, top_p=0.95 ; top_k=1000, top_p=0.95 ; top_k=1536, top_p=0.99

</aside>

**Шаг 2.** Выбираем лучшие изображения:

```jsx
top_images = dalle.cherry_pick_by_clip(images, text, count=6)
dalle.show(top_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_2.png?v=1)

Шаг 3. SuperResolution

```jsx
sr_images = dalle.super_resolution(top_images)
dalle.show(sr_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_3.png?v=1)

Готово!

## **Работа с** KF Serving **API**

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.
Ниже пример запроса. 

```jsx
import base64
import requests
from io import BytesIO
from IPython.display import display
from PIL import Image

response = requests.post(
 'http://localhost:8080/v1/models/kfserving-default:predict', 
 json={
 "instances": [
 {
 "text": "пейзаж со снежными горами и озером розового цвета", 
 "top_k": 1500,
 "top_p": 0.99,
 "images_num": 4,
 "rerank_top": 2,
 "hi_res": True
 }
 ]
 })
for imgtext in response.json()['images']:
 msg = base64.b64decode(imgtext.encode('ascii'))
 img = Image.open(BytesIO(msg))
 display(img)
```

### Галерея примеров:

Разные цветы

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_4.png?v=1)

Красивый закат над морем

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_5.png?v=1)

кресло в форме авокадо

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_6.png?v=1)

Деревянная кровать в спальне

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_7.png?v=1)

Фото китайской еды

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_8.png?v=1)

Современное кресло фиолетового цвета

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_9.png?v=1)

### **Самая большая вычислительная задача в России**

На платформе Cloud.ru ML Space и суперкомпьютере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. 
Самая большая обученная модель ruDALL-E XXL (12 миллиардов параметров) сравнима с английской [DALL-E](https://openai.com/blog/dall-e/) от OpenAI!

Попробуйте быструю генерацию в приложении [Салют](https://sberdevices.ru/app/). Для активации навыка скажите «Включи художника». Или попробуйте Телеграм бота [@sber_rudalle_xl_bot](https://t.me/sber_rudalle_xl_bot)

### Дисклеймер

При использовании демо модели ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruDALL-E XL 1.3B и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Демо text-to-image модели, 1.3 млрд параметров

Demo ruDALL-E


### Описание

Подключите свое приложение к самой большой нейросети для русского языка ruGPT-3.

Демо модели ruGPT-3 1.3B. Для перехода в swagger нажмите кнопку Подключить.

Модели ruGPT-3, доступные в open source — это: 

- 760 миллионов параметров (ruGPT-3 Large).
- 1.3 млрд параметров (ruGPT-3 XL).
- Длина контекста — 2048
- Перплексия на тестовой выборке — ruGPT-3 Large 13.6, ruGPT-3 XL 12.05

Модели умеют продолжать тексты на русском и частично на английском языках. Для этого пользователю необходимо сформулировать «затравку» - фразу, которую модель допишет.

Нейросеть обучена на более чем 600 Гб открытых данных: википедии, художественной литературе, диалогах, программном коде.

Нейросеть демонстрирует state-of-the-art возможности для русского языка и умеет продолжать любой текст. Результат, который будет получен с помощью применения модели, не может быть предсказан заранее. 

Цель этой страницы – удовлетворить исследовательский интерес научного сообщества, а также предложить API ruGPT-3 разработчикам приложений, диалоговых и рекомендательных систем, текстовых классификаторов и т.д.

### **Примеры "затравок"**

В примерах ниже курсивом выделено сгенерированное продолжение.

**Диалоговые системы:**

system: Добрый день! Чем могу помочь?
user: Добрый день! С утра не работает интернет. Тариф 500мбит
system: *хорошо, сейчас попробуем исправить. Ждите.*

**Рекомендательные системы с нуля:**

"Физик Максим, 28 лет, больше всего любит фильмы: «*Улица Сезам», «Матрица».*

**Тематическая классификация текстов:**

Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари» 
Категория: *Новости науки, техника и технологии.*

### Подробнее о ruGPT-3

[Демо проекта с UI](https://russiannlp.github.io/rugpt-demo/)

[GitHub проекта (+ модели)](https://github.com/sberbank-ai/ru-gpts) 

vc.ru: [рассказываем о применимости для бизнеса](https://vc.ru/sber/171679-sber-vylozhil-russkoyazychnuyu-model-gpt-3-large-s-760-millionami-parametrov-v-otkrytyy-dostup)

Habr (tutorial): [Тестируем ruGPT-3 на новых задачах](https://habr.com/ru/company/sberbank/blog/528966/) 

Habr, статья про обучение модели: [Русскоязычная модель GPT-3 Large с 760 миллионами параметров в открытом доступе](https://habr.com/ru/company/sberbank/blog/524522/)

Habr, статья про кейсы применения модели: [Всё, что нам нужно — это генерация](https://habr.com/ru/company/sberbank/blog/550056/)

Вебинар, спикер Татьяна Шаврина: [Разбираем кейсы реального применения ruGPT-3](https://www.youtube.com/watch?v=rm5HlJy73WE&t=55s)

Вебинар, спикер Татьяна Шаврина: [Полный цикл дообучения ruGPT-3 на платформе Cloud.ru ML Space и примеры рыночных кейсов](https://www.youtube.com/watch?v=mh7CGsxYciM)

Модель ruGPT-3 обучена и развёрнута с помощью платформы Cloud.ru ML Space и суперкомпьютера «Christofari» от Cloud.ru.

Архитектура нейросети ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от [OpenAI](https://arxiv.org/abs/2005.14165).

### Дисклеймер

При использовании демо модели ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruGPT-3 XL и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Генерация текста на любые темы, 1.3 млрд параметров

Demo ruGPT-3 XL

Большая модель (12 млрд. параметров) генерации изображений по текстовому описанию на русском языке.

Kandinsky

Сервис построен на базе mBERT и обучена на наборе данных WikiNEuRal для многоязычного NER. Система поддерживает 9 языков (ru, de, en, es, fr, it, nl, pl, pt)

## Возможности

Сервис позволяет детектировать и распознавать российские государственные номера регистрации автомобилей на фотографиях.

## Примеры бизнес-сценариев

1. Предотвращение несанкционированного проникновения ТС на территорию
2. Автоматическое открытие шлагбаума при въезде/выезде автомобилей с территории
3. Допуск автомобилей на территорию паркинга по спискам и гостевым заявкам
4. Выявление случаев нарушения правил проезда и парковки на территории паркинга
5. Расчет времени и стоимости парковки

### Специфика

Любые пожелания и требования по доработке сервиса под вашу конкретную бизнес-задачу (на базе ваших данных) приветствуются.

### Пример взаимодействия

После того как вы запустили сервис, получили адрес и создали API-токен для запросов, можно начать делать запросы на детекцию и распознавание номеров регистрации авто.

## Форма запроса:

``` 
{ "image": "Изображение в кодировке base64" }
```

## Форма ответа:

``` 
{
 "predictions": [
{ "bbox": [xmin, ymin, xmax, ymax, confidence, class], "license_plate": ["license_plate"]}
 ]
}
``` 

## Пример ответа

``` 
{
 "predictions": [
{ "bbox": [475.4500427246094, 426.7696228027344, 524.7568969726562, 440.24713134765625, 0.8754193782806396, 0.0], "license_plate": ["B125TB21"]}
 ]
}
``` 

## Пример запроса на Python:

``` 
import requests

import base64

BASE_URL = "https://mlspace.aicloud.sbercloud.ru/deployments/<region>/<deploy_name>/v1/models/<deploy_name>:predict"

with open('test_image.jpg', 'rb') as fp:
 encoded_string = base64.b64encode(fp.read()).decode('utf-8')

 

results = requests.post(
 BASE_URL,
 json={"image": encoded_string},
 headers=
{ "x-workspace-id": "<your_workspace_id>", "content-type":"application/json", "x-api-key":"<your_api_key>" }
 )

image_recognition_results = results.json()["predictions"]
``` 

## Подключение

Для работы с сервисом необходимо нажать кнопку Создать деплой и выбрать параметры инфраструктуры (Подробнее о [параметрах](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html), о [тарификации](https://cloud.ru/docs/aicloud/mlspace/concepts/general-info__tariffs.html#deployments)). К деплою можно отправлять запросы на [хост](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html) + <ins>для целевого использования модели. REST API сервиса использует протокол HTTP для отправки данных и ответы в формате JSON. HTTP-запросы можно исполнить из консоли с помощью инструмента командной строки</ins> [curl](https://everything.curl.dev/libcurl-http/requests) `{+}`.

Инструкция отправка HTTP-запросов к сервису доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__send-http-requests-to-service.html).

Сервис распознавания государственных номеров авто на фото

Распознавание государственных номеров РФ авто на фото

Детекция номеров авто

## Описание

Модель Rewriter умеет переписывать текст другими словами, при этом сохраняет смысл исходного текста. Rewriter решает задачу перефразирования текста и работает с последовательностями разной длины и доменов. Например, нами тестировались тексты новостей, художественной литературы, отзывы и комментарии из соц сетей.

Рерайтер был обучен с помощью [ruT5-large](https://huggingface.co/sberbank-ai/ruT5-large/tree/main) на текстах разной длины (как на уровне предложений, так и текстовых параграфов), из источников: новостных, разговорных, отзывов, художественной литературы; также были добавлены данные из открытых источников (отфильтрованные [tapaco](https://huggingface.co/datasets/tapaco), ParaphraserPlus).

Характеристики:

- Размер файлов: 2.95 GB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: rewriter, ruT5, pytorch, natural language generation, NLP
- Формат: checkpoint
- Версия: 0.2

### **Использование**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет переписывать переданный текст. На вход подается оригинальный текст с настраиваемыми параметрами генерации, рерайтер генерирует кандидатов, выбирает из них лучшего и возвращает финальный рерайт.

Пользователь может выбрать кол-во генерируемых параметров, а также стратегию выбора лучшего кандидата: 1) либо через метрику BertScore 2) либо через нами обученный классификатор на основе модели Roberta-large. Если метод ранжирования не выбран, то выбирается лучший сгенерированный вариант по обоим метрикам. 

Входные параметры инференса:

```
`text` - оригинальный текст для переписывания
`temperature" - параметр температуры текста для генерации. дефолтное значение 0.95
`top_k` - параметр top_k текста для генерации. дефолтное значение 50
`top_p` - параметр top_p текста для генерации. дефолтное значение 0.90
`repetition_penalty` - штраф за повторные реплики. дефолтное значение 1.5
`num_return_sequences` - кол-во примеров, из которых выбирается лучший рерайт. дефолтное значение 5
`range_mode` - выбор режима ранжирования кандидатов ("all", "bertscore", "classifier"). дефолтное значение all
```

Выходные параметры инференса. Возвращается словарь со следующими полями:

```
`predictions_all` - все удачные перефразированные варианты текста
`origin` - оригинальный текст
`prediction_best` - лучший сгенерированный вариант по одной из метрик (bertscore, классификатор)
```

Примеры:

```
Запрос:
{"instances":
 [{
 "text": "Режим нерабочих дней, по заключениям экспертов, может прервать цепочку заражений коронавирусом, заявил пресс-секретарь президента России Дмитрий Песков.",
 "temperature": 0.9,
 "top_k": 50,
 "top_p": 0.7,
 "range_mode": "bertscore"
 }]
})

Результат:
{'origin': 'Режим нерабочих дней, по заключениям экспертов, может прервать цепочку заражений коронавирусом, заявил пресс-секретарь президента России Дмитрий Песков.', 'predictions_all': ['Песков: режим нерабочих дней может остановить цепочку заражений коронавирусом', 'Дмитрий Песков заявил, что режим нерабочих дней может остановить цепочку заражений коронавирусом', 'Песков: режим нерабочих дней может нарушить цепочку заражений коронавирусом', 'Песков считает, что режим нерабочих дней может прервать цепочку заражений коронавирусом в России.', 'Песков рассказал о возможном прекращении цепочки заражений коронавирусом в России'], 'prediction_best': {'bertscore': 'Песков считает, что режим нерабочих дней может прервать цепочку заражений коронавирусом в России.', 'classifier': ''}}
```

```
Запрос:
{"instances":
 [{
 "text": "Неудачно подобрана картинка в качестве описания товара! На самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. По составу очень добротные - преобладает хлопок, но и эластана достаточно. Цвет насыщенно черный. Размерная сетка неточная на размер, а учитывая свободу кроя в талии и в бедрах даже на два. Я брала по размерной сетке на 44 (российский), а оказались на 48 размер. Продавцом довольна! Спасибо за Вашу работу!",
 "num_return_sequences": 4,
 "range_mode": "classifier"
 }]
}

Результат:
{'origin': 'Неудачно подобрана картинка в качестве описания товара! На самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. По составу очень добротные - преобладает хлопок, но и эластана достаточно. Цвет насыщенно черный. Размерная сетка неточная на размер, а учитывая свободу кроя в талии и в бедрах даже на два. Я брала по размерной сетке на 44 (российский), а оказались на 48 размер. Продавцом довольна! Спасибо за Вашу работу!', 'predictions_all': ['Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Клей "Эль-Гран" немного уступает хлопку, но эластана хватает. Размерная сетка неточная на размер и даже два... Я брала 44 размер, а оказалось на 48. Спасибо!', 'Испортили описание товара, на самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... В прайсе указали 48 размер, а выкрутились на 44.', 'Неудачно подобрана картинка. Идеальным является лишь описание товара, и оно имеет мало общего с реальной моделью джинсов по талии... В составе - хлопок, эластан и ацетат. Цвет насыщенно черный с серым оттенком (нарядный синий). Размерная таблица неточная на размер: два минус одна нога в бедрах — это полтора размера! Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!', 'Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!'], 'prediction_best': {'bertscore': '', 'classifier': 'Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!'}}
```

```
Запрос:
{"instances":
 [{
 "text": "Я так хочу на свою работу, так её люблю!",
 "num_return_sequences": 10
 }]
}

Результат:
{'origin': 'Я так хочу на свою работу, так её люблю!',
 'predictions_all': ['Я так хочу быть на своем месте, такая она мне нравится!',
 'Я так хочу работать, люблю!',
 'Я так хочу на работу, я её люблю!',
 'Я так хочу на работу, я ее люблю!',
 'Я так хочу на свою работу, я её люблю!',
 'Я так хочу, чтобы моя работа была моей работой ',
 'Я так хочу на свою работу, что безумно её люблю!',
 'Я так хочу на свою работу, я её очень люблю!',
 'Я так хочу на свою работу, что меня это не останавливает!',
 'Я так хочу на свою работу, мне её не хватает!'],
 'prediction_best': {'bertscore': 'Я так хочу на работу, я её люблю!',
 'classifier': 'Я так хочу на свою работу, я её очень люблю!'}}
```

## Метрики

Для пар [оригинальный текст; сгенерированный текст] автоматические метрики:

`Mean Bleu` - средняя оценка по всем текстам метрики BLEU (BLEU-1)

`Mean Rouge` - средняя оценка по всем текстам метрики ROUGE(ROUGE-L)

`Bert score` - средняя оценка по всем текстам метрики BertScore

`Mean labse score` - средняя оценка по всем текстам метрики LABSE

`Sentence repeat` - процент предложений схожих с оригинальным текстом

### Автоматические метрики сгенерированных текстов

 

DATA | BERTscore | Bleu | LABSE | Rouge-L | Sentence repeat
------ | ------ | ------ | ------ | ------ | ------
Rewriter (classifier range method) | 0.77 | 0.15 | 0.852 | 0.42 | 0.019

### Человеческая оценка сгенерированных текстов

 

Метод ранжирования | Grammar | Meaning | Originality
------ | ------ | ------ | ------
классификатор | 0.92 | 0.64 | 0.92
bertscore | 0.92 | 0.74 | 0.87

Человеческая оценка модели с разным типом выбора кандидата. Оценка производилась на Яндекс.Толоке, спрашивалось насколько сгенериованный текст 1) грамматичен (Grammar) 2) оригинален (Originality) 3) передает смысл (Meaning)

### Полезные ссылки

- [Статья](https://habr.com/ru/company/sberdevices/blog/666420/) от разработчиков сервиса о практическом применении генеративных моделей и создании "Суммаризатора"
- [Статья](https://habr.com/ru/companies/cloud_ru/articles/666704/) про тестирование моделей от контент-менеджера "Меня скоро заменит AI. Почему это офигенно?"

### Дисклеймер

При использовании демо рерайтера на базе модели ruT5 Large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruT5 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE)

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Модель рерайтинга для текстов разной длины и доменов

Рерайтер


## Описание

Модель Суммаризатор - онлайн-инструмент, который сокращает текст, оставляя основные моменты. Инструмент работает с последовательностями разной длины и доменов. Например, нами тестировались тексты новостей, художественной литературы, комментарии из соц сетей.

Суммаризатор был обучен с помощью ruT5-large на текстах разной длины из различных новостных источников.

Характеристики:

- Размер файлов: 6,5 GB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: summarizer, summarization, ruT5, pytorch, natural language generation, NLP
- Формат: checkpoint
- Версия: 0.2

## Ограничения

Модель корректно обрабатывает тексты с длиной менее 20 тысяч символов. 

Возможные решения для больших текстов - бить на куски поменьше либо в генерации уменьшить параметр  `num_beams`  (при режиме beamsearch) или `num_return_sequences` (при режиме sampling).

### **Работа с API (Инструкция по использованию)**

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.

Модель умеет сокращать переданный текст. На вход подается оригинальный текст с настраиваемыми параметрами генерации [статья о том, как задавать параметры](https://huggingface.co/blog/how-to-generate), суммаризатор генерирует кандидатов, выбирает из них лучшего и возвращает финальный сокращенный текст.

Входные параметры инференса:

```
`text` - оригинальный текст для суммирования.
`num_return_sequences` - кол-во примеров, из которых выбирается лучший финальный текст. Дефолтное значение 6.
`num_beams` - параметр генерации текста num_beams. Дефолтное значение 5.
`no_repeat_ngram_size` - параметр генерации текста no_repeat_ngram_size - все ngrams такого размера могут встречаться только один раз. Дефолтное значение 3.
`repetition_penalty` - параметр генерации текста repetition_penalty, используется в качестве штрафа за слова, которые уже были сгенерированы. Дефолтное значение 2.0.
`length_penalty` - параметр генерации текста length_penalty - экспоненциальный штраф к длине.  Дефолтное значение 2.0.

`top_k`- параметр top_k текста для генерации. Дефолтное значение 50.
`top_p` - параметр top_p текста для генерации. Дефолтное значение 0.9.
`temperature` - параметр temperature текста для генерации. Дефолтное значение 0.95.

`genstrategy` - параметр переключения между стратегиями генерации (“beamsearch” или “sampling”). Дефолтное значение beamsearch.
```

Выходные параметры инференса. Возвращается словарь со следующими полями:

```
`comment` - комментарий ("Ok", если суммаризация прошла успешно, иначе - текст ошибки)

`origin` - оригинальный текст

`predictions` - варианты сокращенного текста

`prediction_best` - лучший вариант сокращенного текста по метрике bertscore.
```

Примеры:

```
model.predict({"instances": [{
	"text": "Так вот, запись этой песни и голос Веги были настолько чистыми, что их использовали для усовершенствования алгоритма сжатия MP3. Один из разработчиков формата MP3 брал эту песню для тестирования своего алгоритма, слушая ее снова и снова, и все лучше настраивал алгоритм для более точной передачи голоса Веги. Можно даже сказать, что в некоторой степени алгоритм MP3 специально настроен на песню «Tom’s Diner».",
	"num_beams": 5,
	"length_penalty": 1.0
	}]
})

Результат:
{
  "comment": "Ok",
  "origin": "Так вот, запись этой песни и голос Веги были настолько чистыми, что их использовали для усовершенствования алгоритма сжатия MP3. Один из разработчиков формата MP3 брал эту песню для тестирования своего алгоритма, слушая ее снова и снова, и все лучше настраивал алгоритм для более точной передачи голоса Веги. Можно даже сказать, что в некоторой степени алгоритм MP3 специально настроен на песню «Tom’s Diner».",
  "predictions": ['«Tom s Diner» — одна из самых чистых песен в истории MP3.',
   '«Tom s Diner» — одна из самых чистых песен в истории сжатия MP3.'],
  "prediction_best": {'bertscore': '«Tom s Diner» — одна из самых чистых песен в истории MP3.'}
}
```

```
model.predict({"instances":[{
	"text": "Если гриль в вашей духовке расположен внизу.",
	"num_return_sequences": 2
	}]
})

Результат:
{
  "comment": "Ваш текст слишком короткий!",
  "origin": "Если гриль в вашей духовке расположен внизу.",
  "predictions": "Если гриль в вашей духовке расположен внизу."
}
```

## Метрики

Текущие решение было оценено автоматическими метриками и получена человеческая оценка на Толоке по каждому из доменов. Ниже представлены цифры по следующим метрикам:

`Bert score` - средняя оценка по всем текстам метрики BertScore.

`Mean Rouge` - средняя оценка по всем текстам метрики ROUGE(ROUGE-L).

`Mean Bleu` - средняя оценка по всем текстам метрики BLEU(BLEU-1).

`Grammar` - оценка пользователей Толоки, процент сгенерированных текстов без ошибок (орфография, пунктуация, согласование).

`Meaning` - оценка пользователей Толоки, процент сгенерированных текстов, в которых смысл текста передан верно.

`Coherent` - оценка пользователей Толоки, процент связности фактов в тексте.

```jsx
Reviews
BERTscore  85.21
ROUGE-L    70.19
BLEU       37.93
Grammar    93.63
Meaning	   54.18
Coherent   89.64
```

```jsx
Literature
BERTscore  77.56
ROUGE-L    39.3
BLEU       1.77
Grammar    99.49
Meaning    78.98
Coherent   95.76
```

```jsx
SocMedia
BERTscore   75.93
ROUGE-L     35.8
BLEU 	    1.58
Grammar     88.27
Meaning     34.08
Coherent    88.83
```

```jsx
News
BERTscore    74.53
ROUGE-L      30.28
BLEU 	     0.51
Grammar      98.96
Meaning      54.98
Coherent     90.46
```

### Полезные ссылки

- [Статья](https://habr.com/ru/company/sberdevices/blog/666420/) от разработчиков сервиса о практическом применении генеративных моделей и создании "Суммаризатора"
- [Статья](https://habr.com/ru/companies/cloud_ru/articles/666704/) про тестирование моделей от контент-менеджера "Меня скоро заменит AI. Почему это офигенно?"

### Дисклеймер

При использовании демо суммаризатора на базе модели ruT5-large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruT5 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE)


Сокращает текст, оставляя основные моменты

Суммаризатор

Демо сервиса генеративной болталки (chithat модель) на произвольные темы. 
Основан на базе finetuned модели **ruGPT-3 Large** .
Имя бота маскируется в репликах `%bot_name`. Не цензурируется (18+).

Технологии аналогичны (но не идентичны) болталкам в виртуальных ассистентах Салют.

## Пример запроса к сервису

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.

Болталка принимает на вход текстовую фразу пользователя с предысторией общения (контекст) в виде списка списков нечетной длины, где первая и последняя реплики в списке — пользовательские.

Пример:
```
curl --location --request POST "https://api.aicloud.sbercloud.ru/public/v2/inference/v1/predict/{name}/{predict}/"
--header "Content-Type: application/json"
--header "authorization: <your access token>"
--header "x-api-slug: <your GWAPI key>"
--header "x-workspace-id: <your x-workspace-id>"
--data-raw "{"instances": [{"contexts": [["Предыстория, фраза пользователя", "Предыстория, реплика болталки", "Предыстория, фраза пользователя", "Предыстория, реплика болталки", "текущая фраза пользователя"]]}]}"
```

## Пример ответа сервиса

Болталка выдает список реплик-ответов на присланные контексты
(для пересылки юникодные символы кодируются в ascii).

Пример:
```
{"responses": ["Реплика болталки"]}
```

## Пример локального отладочного обращения к сервису

```
curl --location --request POST "http://localhost:8080/v1/models/kfserving-default:predict"
--header "Content-Type: application/json"
--data-raw "{"instances": [{"contexts": [["Привет, дурилка!"],
["Привет, дурилка!", "сама ты дурилка... картонная", "ничего себе! ну и ответ у тебя"]]}]}" | ascii2uni -a U -q
```

### Справочные видео про виртуальные ассистенты

• [Генеративная chit-chat модель как интересный собеседник](https://www.youtube.com/watch?v=cDNVVe5V_UM)

• [Генеративные разговорные модели: метрики, данные, перспективы](https://youtu.be/RqPW2E6PhTk?t=325)

• [Taming of a Generative Beast](https://youtu.be/-bZAb_cWGlY)

### Справочные видео про генерацию GPT-подобными моделями:

• [Снова про управление мамонтами, или как заставить языковую модель генерировать нужный нам текст](https://youtu.be/Mz3JI_Jxx84)

• [Удачные и неудачные попытки удержать GPT](https://youtu.be/lM6a9e1t-mA)

### Дисклеймер

При использовании демо сервиса Болталка ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruGPT-3 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Диалоговая модель-собеседник, chit-chat на основе ruGPT-3

Demo Болталка


  ### Короткое описание

  Набор артефактов включает в себя один из крупнейших датасетов молекул и их метаданных. Кроме того, в набор входит 4 модели для предсказания энергии молекулярных конформаций и 2 модели для предсказания DFT-гамильтониана. Комбинация перечисленных артефактов позволяет не только создавать ML-модели для решения задач физической химии, но и оценивать их эффективность.

  ### Возможности

  Датасет содержит результаты численного моделирования уравнения Шредингера для большого количества разнообразных молекул и их конформаций. Это позволяет разрабатывать и исследовать модели машинного обучения направленные на решение задач физической химии.

  Фокус на медицинской химии позволяет применять предобученные модели в классических пайплайнах разработки новых лекарственных препаратов.

  ### Преимущества

  1. Самый большой объем из открытых датасетов: более 1 млн. драг-лайк молекул и свыше 5 млн. конформаций.
  2. Широкий спектр доступных для предсказания свойств: энергия конформации, гамильтониан теории функционала плотности, матрица электронной плотности, дипольный момент, частичные заряды на атомах, HOMO-LUMO gap и др.
  3. В набор входят современные предобученные модели предсказания энергии конформации и электронных свойств молекул с высокой степенью точности.
  4. Различные типы тестовых подвыборок позволяют оценить генерализацию моделей как между различными конформациями, так и между различными хемотипами молекул.

  ### Сценарии использования

  1. Разработка и тестирование новых моделей машинного обучения для задач физической химии.
  2. Использование предобученных моделей для задач поиска перспективных материалов и разработки новых лекарственных препаратов.

  ## Инструкции по использованию

  Скачайте датасет в хранилище платформы и запустите обучение моделей. Примеры работы с датасетом и запуском обучения [https://github.com/AIRI-Institute/nablaDFT](https://github.com/AIRI-Institute/nablaDFT)

  ### Бенчмарк

  1. Предсказание DFT-гамильтониана.
  2. Предсказание энергии молекулярной конформации.

  ### Ccылки

  [https://github.com/AIRI-Institute/nablaDFT](https://github.com/AIRI-Institute/nablaDFT)
  [GitHub лицензия](https://github.com/AIRI-Institute/nablaDFT/blob/main/LICENSE)
  

Самый полный набор артефактов для задач физической химии

nablaDFT molecular electronic structures dataset

Модель GHOST в составе пайплайна переноса содержит несколько этапов постобработки, которые позволяют добиться лучшего качества итогового изображения: специальная процедура блендинга с размытием маски, а также повышение разрешения лица позволяют получить более высокую детализацию.

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ghost.png?v=1)

Подробную информацию о модели можно прочитать в статье на Хабре и в соответствующем репозитории: 

* [Чат-бот для тестирования функционала модели](https://t.me/ghost_sberai_bot)
* [Habr](https://habr.com/ru/company/sberbank/blog/645919/)
* [GitHub](https://github.com/ai-forever/sber-swap)

**Информация об использовании модели:**

Версия модели GHOST принимает на вход изображение-источник, а также целевое изображение или видео, в которое будет выполняться перенос. Результатом является изображение или видео с перенесенным лицом.

## Отправка запроса к сервису

Обращение к модели требует правильно сформированного json-запроса. Далее указан пример универсального запроса к модели, который может быть использован как для переноса на изображение, так и на видео.

### Импорт необходимых библиотек

 ```import cv2
import json
import requests
import boto3
import base64
import time
import uuid
from io import BytesIO
import numpy as np
```

 ### Определяем, переносим ли мы на изображение или видео

 ```
image_to_image = True
```

### Объявляем вспомогательные функции

```def encode_img(img):
jpg_img = cv2.imencode(".jpg", img)
img_b64 = base64.b64encode(jpg_img[1]).decode("utf-8")
return img_b64

def decode_img(img_b64):
"""
Decode bs64 image to np.ndarray format
"""
bin_img = base64.b64decode(img_b64)
buff = BytesIO(bin_img)
img = cv2.imdecode(np.frombuffer(buff.getbuffer(), np.uint8), -1)
img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
return img

def get_update_session(auth_url, 
x_api_key,
x_workspace_id, 
email, 
password, 
sess=None):
if sess is None:
sess = requests.Session()
sess.headers.update({
"Content-Type": "application/json",
"x-api-key": x_api_key
})
resp = sess.post(auth_url, json=dict(email=email, password=password))
token = resp.json()["token"]["access_token"]
sess.headers.update({"authorization": token})
sess.headers.update({"x-workspace-id": x_workspace_id})
return sess
```

 ### Задаем параметры s3

 Инструкция для получения credentials доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/data-catalog__data-processing__uplaod-and-store-data.html#data-catalog-data-processing-uplaod-and-store-data-s3-credentials-and-copying-s3-object-path)

 ```
s3_credentials = {
"endpoint_url" : "endpoint_url",
"namespace" : "namespace",
"bucket" : "bucket",
"access_key_id" : "access_key_id",
"security_access_key" : "security_access_key",}
``` 

 ### Указываем путь до source фотографии и target источника 

 ```
 PATH_TO_IMAGE = "path/to/source/image"
if image_to_image:
PATH_TO_TARGET_IMAGE = "path/to/target/image"
else:
PATH_TO_VIDEO = "path/to/target/video"
```

 ### Загружаем видео на s3 или кодируем изображение в зависимости от поставленной задачи

 ```
 if not image_to_image:
 s3 = boto3.client(
service_name="s3",
endpoint_url=s3_credentials["endpoint_url"],
aws_access_key_id=s3_credentials["access_key_id"],
aws_secret_access_key=s3_credentials["security_access_key"],
)

if not image_to_image:
FOLDER_TO_SAVE = "videos/original" # папка, куда этот файл будет загружен на s3
 s3.upload_file(PATH_TO_VIDEO, s3_credentials["bucket"], f"{FOLDER_TO_SAVE}/{PATH_TO_VIDEO.split("/")[-1]}")
Xs_raw = cv2.imread(PATH_TO_IMAGE)
source_encoded = encode_img(Xs_raw[:, :, ::-1])
if  image_to_image:
Xt_raw = cv2.imread(PATH_TO_TARGET_IMAGE)
target_encoded = encode_img(Xt_raw[:, :, ::-1])
``` 

 ### Составляем json-запрос 

 ```
 if  image_to_image:
 request_json = {"source_image" : source_encoded,
"target_image" : target_encoded,
"use_sr" : True}
else:
request_json = {"source_image" : source_encoded,
"path_to_video" : f"{FOLDER_TO_SAVE}/{PATH_TO_VIDEO.split("/")[-1]}", # путь до видео на s3
"s3_credentials": s3_credentials, # параметры s3 
"folder_to_save": "videos/result", # путь до директории сохранения
"fast_cpu": True,
"use_sr" : True}
```

 ### Отправляем запрос модели 

 ```
LOCAL = False # надо поставить True, если app.py запущен локально
 deploy_id = "deploy_id" 

if LOCAL:
start = time.time()
results_from_cristo = requests.post("http://00.00.00.00:8080/v1/models/kfserving-default:predict", json=request_json)
print(time.time() - start)
else:
start = time.time()
sess = get_update_session("https://api.aicloud.sbercloud.ru/public/v2/service_auth", 
"x_api_key", 
"x_workspace_id",
"email", # email=ID
"password") # password=secret

results_from_cristo = sess.post(
"https://api.aicloud.sbercloud.ru/public/v2/inference/v1/predict/kfserving-{deploy_id}/kfserving-{deploy_id}/",
json=request_json
)

print(time.time() - start)
```

 ### Сохраняем результаты 

 ```
 from matplotlib import pyplot as plt
 if image_to_image:
result = results_from_cristo.json()["result"]
result_image = decode_img(result)
plt.imshow(result_image[:,:,::-1])
else:
path_to_result = results_from_cristo.json()["path_to_result"]
result_name = path_to_result.split("/")[-1]
s3.download_file(s3_credentia["bucket"], path_to_result, result_name)
 print(result_name) 
```

 ### Оценки модели на популярных датасетах /n Примеры переноса лица на изображениях из датасетов VGG Face 2 и CelebA HQ. 

 ![Изображение](https://cdn.cloud.ru/backend/images/datahub/ghost-second.png?v=1)

 Было проведено сравнение GHOST модели и известных SoTA решений. Все метрики рассчитываются так, как описано в статьях FaceShifter,  SimSwap, Hifiswap,  Smooth-Swap. Не углубляясь в математические формулировки, используемые метрики можно описать следующим образом:

 * ID retrieval и shape_ringnet — отвечают за сохранение identity (форма головы и т.д.);
 * exp_ringnet — отвечает за выражение лица и сохранение эмоций; 
 * pose_ringnet и poseHN — отвечают за сохранение позы с помощью моделей Ringnet и Hopenet; 
 * eye_ldmk — за сохранение направления взгляда. 

 По ряду метрик разработанная модель имеет существенное преимущество при оценке на  датасете FaceForensics++. Звездочками показаны наилучшие значения для каждой метрики.


  method | ID&nbsp;retrieval | exp_ringnet | eye_ldmk | poseHN | pose_ringnet | shape_ringnet
  ------ | ------------ | ----------- | -------- | ------ | ------------ | -------------
  FaceSwap (2016) | 58.82 | **0.305** 💥 | 4.22 | 1.94 | 0.045 | 0.75
  DeepFakes (2018) | 72.42 | 0.696 | 11.6 | 7.35 | 0.110 | 0.65
  FaceShifter (2019) | 82.02 | 0.420 | 2.48 | **1.93** 💥 | 0.040 | 0.67
  SimSwap (2021) | 87.42 | 0.340 | 2.91 | 2.13 | **0.035** 💥 | 0.72
  HifiFace (2021) | 89.17 | 0.510 | 2.04 | 2.13 | 0.048 | **0.64** 💥
  Ours | **90.61** 💥 | 0.436 | **2.02** 💥 | 2.26 | 0.047 | **0.64** 💥

Модель для переноса лица с изображения на другое изображение или видео.

Модель состоит из нескольких основных блоков: Identity Encoder (кодируется форма лица-источника), Attribute Encoder (кодируются отличительные особенности лица-источника) и механизм блендинга (встраивание лица в целевое изображение или видео). Отличительная особенность — перенос лица производится с одного фото (one shot модель), дополнительные ракурсы не требуются. Модель GHOST в составе пайплайна переноса содержит несколько этапов постобработки, которые позволяют добиться лучшего качества итогового изображения: специальная процедура блендинга с размытием маски, а также повышение разрешения лица позволяют получить более высокую детализацию.

GHOST



![Изображение](https://cdn.cloud.ru/backend/images/datahub/hagrid.png)

Каждое изображение содержит показывающую жест руку и в некоторых случаях может содержать вторую руку в естественном положении, размеченную дополнительным классом no gesture.


Разметка: bounding box, user id
Фреймворк: pytorch
Размер файлов: 723GB
Количество жестов: 19
Число изображений: 553 991
Формат изображений: FullHD RGB
Уникальных пользователей: 37 563

## Возможности

В записи датасета участвовало не менее 37,563 уникальных пользователей. Набор данных содержит как минимум столько же сцен и очень разнороден по освещению, расстоянию субъекта до камеры, их возрасту и полу. Все снимки выполнены в RGB формате и более 90% из них - в FullHD (1920х1080).

HaGRID разделен на 18 классов жестов: call, dislike, fist, four, like, mute, ok, one, palm, peace, peace_inverted, rock, stop, stop_inverted, three, three2, two_up, two_up_inverted.

Каждое изображение содержит показывающую жест руку, и в некоторых случаях может содержать вторую руку в естественном положении, размеченную дополнительным классом no gesture.

### **Преимущества**

Все данные и обученные на них модели для задач классификации и детекции жестов абсолютно бесплатны и доступны для скачивания. Кроме того Вы можете скачать мини версию набора данных, содержащую по 100 изображений с разметкой на класс. Демо-версия работы моделей на обученных данных также доступна в репозитории.

## Сценарии использования

С помощью HaGRID можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов.

## Инструкции по использованию

Вы можете скачать датасет в виде набора архивов размером 723GB. Поскольку датасет занимает много места, мы разбили обучающую выборку на 18 архивов по числу классов в датасете (каждый архив занимает примерно ~40GB).

**Данные**:

Gesture | Link | Size (GB)
------ | ------ | ------
CALL | [https://sc.link/FNiTG](https://sc.link/FNiTG) | 37.2
DISLIKE | [https://sc.link/7mcWR](https://sc.link/7mcWR) | 40.9
FIST | [https://sc.link/DkbKX](https://sc.link/DkbKX) | 41.2
FOUR | [https://sc.link/vJA5](https://sc.link/vJA5) | 42.1
LIKE | [https://sc.link/XZJPT](https://sc.link/XZJPT) | 41.2
MUTE | [https://sc.link/gJ0ya](https://sc.link/gJ0ya) | 42.1
OK | [https://sc.link/eFqR1](https://sc.link/eFqR1) | 41.4
ONE | [https://sc.link/NMpZ0](https://sc.link/NMpZ0) | 41.7
PALM | [https://sc.link/GtTnd](https://sc.link/GtTnd) | 42.1
PEACE | [https://sc.link/LTQNz](https://sc.link/LTQNz) | 41.4
PEACE_INV. | [https://sc.link/WFSpC](https://sc.link/WFSpC) | 39.6
ROCK | [https://sc.link/YlMdI](https://sc.link/YlMdI) | 40.7
STOP | [https://sc.link/bnlhN](https://sc.link/bnlhN) | 40.8
STOP_INV. | [https://sc.link/vvKG4](https://sc.link/vvKG4) | 40.4
THREE | [https://sc.link/FtH3C](https://sc.link/FtH3C) | 41.2
THREE2 | [https://sc.link/fC4dT](https://sc.link/fC4dT) | 39.2
TWO_UP | [https://sc.link/9xmvQ](https://sc.link/9xmvQ) | 40.9
TWO_UP_INV. | [https://sc.link/ZDoYu](https://sc.link/ZDoYu) | 39.9

Разметка: [https://sc.link/Sfa95](https://sc.link/Sfa95)

## Модели

| Detector | Link | mAP |
| --- | --- | --- |
| SSDLiteMobileNetV3Small | https://sc.link/rcJBg | 57.7 |
| SSDLiteMobileNetV3Large | https://sc.link/pVVDQ | 71.6 |
| RetinaNet_ResNet50 | https://sc.link/sVRwt | 79.1 |
| YoloV7Tiny | https://sc.link/kqwi2 | 71.6 |

| Full Frame Classifiers | Link | F1 Gestures |
| --- | --- | --- |
| MobileNetV3_small | https://sc.link/R5tHf | 86.4 |
| MobileNetV3_large | https://sc.link/2Mv2o | 91.9 |
| VitB16 | https://sc.link/tuRj8 | 91.1 |
| ResNet18 | https://sc.link/lyXuV | 97.5 |
| ResNet152 | https://sc.link/rhX24 | 95.5 |
| ResNeXt50 | https://sc.link/Revne | 98.3 |
| ResNeXt101 | https://sc.link/vmahk | 97.5 |

**Детектор**

SSDLite - [https://sc.link/YXg2](https://sc.link/YXg2)

## Полезные ссылки

- [Arxiv](https://arxiv.org/abs/2206.08219)
- [Kaggle](https://www.kaggle.com/datasets/kapitanov/hagrid)
- [Github](https://github.com/hukenovs/hagrid)
- [Habr](https://habr.com/ru/company/sberdevices/blog/671614/)

## Авторы

- Капитанов Александр
- Махлярчук Андрей
- Кванчиани Карина
- Нагаев Александр
- Крайнов Роман


Самый разнородный датасет для системы распознавания жестов

HaGRID (HAnd Gesture Recognition Image Dataset) – самый разнородный датасет для системы распознавания жестов. Он состоит из 553,991 изображений, разделенных на 18 классов. В разметку входят боксы кистей рук с меткой класса жеста.

HaGRID

## Возможности

Сервис позволяет распознавать объекты на изображениях.

Подходит для быстрого тестирования гипотез, запуска на небольших конфигурациях инфраструктуры и для задач с не высокими требованиями к качеству предикта.

Так же существует модель с полным функционалом распознавания объектов (ссылка на большую модель в платформе).

Мини-версия модели и модель с расширенными возможностями могут быть полезны для сортировки изображений в фотобанках, классификации типов документов, решения задач поиска объектов определенного класса на изображениях большого разрешения с множеством деталей (например, фаеры на трибунах стадионов).

## Пайплайн модели:

Единая нейронная сеть применяется к полному изображению. Сеть делит изображение на области и предсказывает ограничительные рамки и вероятности для каждой области. Ограничивающие рамки взвешиваются по прогнозируемым вероятностям.

## Преимущества

Работает быстро и точно. На карте, измеренной при .5 IOU, YOLOv3 находится на одном уровне с фокусной потерей, но примерно в 4 раза быстрее.

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-1.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-2.png)

## Сценарии использования

Детектирование объектов в реальном времени

Все веса модели доступны для скачивания, поэтому она может быть дообучена под специфические задачи. Такие как:

- медицинская диагностика по рентгеновским снимкам, гистологическим срезам и т.д.;
распознавание утечек на изображениях аэрофотосъемки;
- визуальный контроль исправности деталей, качества производственного сырья и др.

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

## Запрос

 ```{ "instances":[ { "image": "your base64 string" } ] }```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-3.png)

## Полезные сcылки

GitHub - [https://github.com/quanhua92/darknet](https://github.com/quanhua92/darknet)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/quanhua92/darknet/blob/master/LICENSE)

Оптимизированная модель распознавания классов объектов.

Small Object Detection model



## Особенности

Датасет включает около 10 000 сгенерированных изображений людей в медицинских масках и без. Набор данных может быть использован для совершенствования систем биометрической идентификации и аутентификации, улучшения детекторов дипфейков и других прикладных задач в области компьютерного зрения.

### **Преимущества**

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by-sa/4.0/)


Лица людей в медицинских масках и без

Face Mask Lite Dataset



## Особенности

Набор данных из почти 9 миллионов URL-адресов для изображений. Изображения снабжены аннотациями с надписями и ограничивающими рамками, а выборка охватывает тысячи классов. Набор данных содержит обучающий датасет из 9 011 219 изображений, проверочный датасет из 41 260 изображений и тестовый датасет из 125 436 изображений. Коллекция может быть использована для автоматической генерации понятных URL и других прикладных задач.

## Ccылки

Документация на [GitHub](https://github.com/openimages/dataset)

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/2.0/)

[GitHub лицензия](https://github.com/openimages/dataset/blob/main/LICENSE)



Набор данных из почти 9 миллионов URL-адресов для изображений

Open Images Dataset



## Особенности

Ниже приведен список csv-файлов, имеющихся в наборе данных, а также то, что они включают:

- tracks.csv: метаданные для каждого трека, такие как идентификатор, название, исполнитель, жанры, теги и количество воспроизведений, для всех 106 574 треков.
- genres.csv: все 163 идентификатора жанра с их именем и родителем (используется для определения иерархии жанров и жанров верхнего уровня).
- features.csv: общие функции, извлеченные с помощью librosa.
- echonest.csv: звуковые функции, предоставляемые Echonest (теперь Spotify) для подмножества из 13 129 треков.

Набор данных может быть использован для автоматической сортировки музыки по жанрам, автоматического формирования плейлистов и других задач.

## Ccылки

Документация на [GitHub](https://github.com/mdeff/fma)

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/4.0/)

[GitHub лицензия](https://github.com/mdeff/fma/blob/master/LICENSE.txt)



Популярное

О нас

Карьера в Cloud.ru

Новости

Юридические документы

Контакты

Полезные разделы

Партнерство с Cloud.ru

Кейсы

Решения

Архитектурный центр

Безопасность

Облачные платформы Cloud.ru

Evolution

Advanced

ML Space

Облако VMware

Полезные разделы

Блог

Обучение и сертификация

Вебинары

Исследования Cloud.ru

Marketplace