**Новости о модели:**

habr (tutorial): ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка [ссылка](https://habr.com/ru/company/sberbank/blog/567776/)

Github: репозиторий Model-Zoo с примерами [ссылка](https://github.com/sberbank-ai/model-zoo) 

**Информация об использовании модели:**

Примеры кода с использованием модели находятся на [GitHub](https://github.com/sberbank-ai/ru-gpts)

## Installation

```jsx
!pip install datasets transformers[sentencepiece]
```

## Mask Filling

Модель можно дообучить для любой классической задачи NLP, включая классификацию текстов, кластеризацию, генерацию текстов.

Модель на инференсе без обучения выполняет задачу заполнения масок (пропусков), которые можно представить по образцу:

`Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>.` 

Вывод:

`<extra_id_0> на бензин`

`<extra_id_1> условии сохранения текущей ситуации`

Пример запуска генерации: 

- простой способ - с помощью pipeline
- классический способ - отдельный импорт модели и токенизатора

```jsx
# ruBert-base example 
from transformers import BertForMaskedLM,BertTokenizer, pipeline
model=BertForMaskedLM.from_pretrained('sberbank-ai/ruBert-base')
tokenizer=BertTokenizer.from_pretrained('sberbank-ai/ruBert-base', do_lower_case=False)
unmasker = pipeline('fill-mask', model=model,tokenizer=tokenizer)

[i['sequence'] for i in unmasker("Python - это самый [MASK] язык программирования.")]
```

`['Python - это самый популярный язык программирования.',
 'Python - это самый современный язык программирования.',
 'Python - это самый сложный язык программирования.',
 'Python - это самый простой язык программирования.',
 'Python - это самый распространённый язык программирования.']`

## KF Serving

Класс `KFServingRuBertLargeModel` представлен ниже.

Работа с моделью возможна в 2 вариантах:

1. режим кодировки `("mode": "encoding")` - получение векторных представлений текста
2. режим денойзинга `("mode": "fill-mask")` - заполнение масок-пропусков в тексте:

`'Снижение цен <extra_id_0> в Москве возможно только при <mask>. '`

`fill-mask` является режимом по умолчанию, если режим не указан в запросе.

При режиме возможно использование как маски вида `<mask>`, так и `[MASK]`.

В режиме `fill-mask` можно ранжировать переданных кандидатов на заполнение маски с помощью списка кандидатов в ключе `targets` :

```jsx

res = model.predict({"instances": [{"text": "Его зовут <mask> и он инженер живущий в Нью-Йорке.", "mode": "fill-mask",
 "targets": ["Майкл", "Таня", "Антон", "Джон"]}]})
```

Независимо от режима работы, функция predict возвращает словарь вида: 

`predictions: {‘text’: ‘’, ‘extra_id_..’: ‘’}`

```jsx
class KFServingRuBertLargeModel(kfserving.KFModel):
 def __init__(self, title: str, model_path="ruBert-large/"):
 super().__init__(name)
 self.name = name
 self.ready = False
 self.model_path = model_path

 def load(self):
 self.model = BertForMaskedLM.from_pretrained(self.model_path)
 self.tokenizer = BertTokenizer.from_pretrained(self.model_path, do_lower_case=False)
 self.encoder = BertModel.from_pretrained(self.model_path)
 self.pipeline = pipeline('fill-mask', model=self.model, tokenizer=self.tokenizer)
 self.ready = True

 def predict(self, request: Dict) -> Dict:
 raw_text = request['instances'][0]['text']
 top_k = request['instances'][0].get('top_k', 5)
 targets = request['instances'][0].get('targets', None)
 mode = request['instances'][0].get('mode', 'fill-mask')
 if mode=='fill-mask':
 pred, error = fill_mask(raw_text, self.pipeline, top_k, targets)
 if isinstance(pred, list):
 pred = predictions_preprocess(pred, targets)
 else:
 pred, error = encode(raw_text, self.encoder, self.tokenizer), None
 if error is None:
 return {"predictions": f"{pred}", "mode": str(mode)}
 else:
 return {"predictions": f"{pred}", "mode": str(mode), "error_message": error}
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ruBert_large import KFServingRuBertLargeModel

model = KFServingRuBertLargeModel("kfserving-rubert-large")
model.load()

#fill-mask
model.predict({"instances": [{"text": "Меня зовут [MASK] и я американский инженер живущий в городе <mask>.", "mode": "fill-mask"}]})

res = model.predict({"instances": [{"text": "Его зовут <mask> и он инженер живущий в Нью-Йорке.", "mode": "fill-mask",
 "targets": ["Майкл", "Таня", "Антон", "Джон"]}]})
```[{'sequence': 'Его зовут Джон и он инженер живущий в Нью - Йорке.',
 'score': 0.031892772763967514,
 'token': 4369,
 'token_str': 'Джон'},
 {'sequence': 'Его зовут Майкл и он инженер живущий в Нью - Йорке.',
 'score': 0.03039882332086563,
 'token': 11497,
 'token_str': 'Майкл'},
 {'sequence': 'Его зовут Антон и он инженер живущий в Нью - Йорке.',
 'score': 0.001293725916184485,
 'token': 8514,
 'token_str': 'Антон'},
 {'sequence': 'Его зовут Таня и он инженер живущий в Нью - Йорке.',
 'score': 5.728732139687054e-05,
 'token': 21756,
 'token_str': 'Таня'}]```

#encoding
res = model.predict({"instances": [{"text": "Её зовут Алена и она инженерка живущая в Нью-Йорке.", "mode": "encode"}]})
res["predictions"]
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/bottom-t5-bert.png)

Самая известная модель-encoder для русского языка, 178 млн параметров

Русская модель-encoder. Модель является языковой моделью, может определять вероятности следующего и пропущенного слова, а также эффективно представлять слова и тексты в векторном пространстве.  

ruBERT-base

С помощью датасета обучаются нейронные сети, направленные на обработку визуальных рядов и медицинских данных.

Обучение нейросетей

Датасет позволяет обучить нейронную сеть собирать результаты дистанционной фотоплетизмографии.

Дистанционная фотоплетизмография

В датасете представлен набор статических данных (например, рост и вес), которые так же можно использовать в медицинских данных.

Обработка статических данных

Датасет распространяется бесплатно, по лицензии CC BY 4.0. 
 Файл с описанием внутреннего устройства датасета прилагается в архиве.

Датасет результатов дистанционной фотоплетизмографии

Multi-Camera Dataset for rPPG

**Новости** 


💡 habr (tutorial): ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка [ссылка](https://habr.com/ru/company/sberbank/blog/567776/)




💡 Github: репозиторий Model-Zoo с примерами [ссылка](https://github.com/sberbank-ai/model-zoo)



**Информация об использовании модели**

Примеры кода с использованием модели находятся на [GitHub](https://github.com/sberbank-ai/ru-gpts)

## Installation

```jsx
!pip install datasets transformers[sentencepiece]
```

## Mask Filling

Модель можно дообучить для любой классической задачи NLP, включая классификацию текстов, кластеризацию, генерацию текстов.

Модель на инференсе без обучения выполняет задачу заполнения масок (пропусков), которые можно представить по образцу:

`Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>.` 

Вывод:

`<extra_id_0> на бензин`

`<extra_id_1> условии сохранения текущей ситуации`

Пример запуска генерации: 

- простой способ - с помощью pipeline
- классический способ - отдельный импорт модели и токенизатора

```jsx
# ruT5-base example

from transformers import pipeline

generator = pipeline("text2text-generation", model="sberbank-ai/ruT5-base")
generator(
 "Текст: С мая 2021 в России "
)

# ruT5-large example 
from transformers import T5ForConditionalGeneration,T5Tokenizer

model=T5ForConditionalGeneration.from_pretrained('sberbank-ai/ruT5-large')

tokenizer=T5Tokenizer.from_pretrained('sberbank-ai/ruT5-large',)
input_ids = tokenizer('Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>', return_tensors='pt').input_ids

out_ids=model.generate(input_ids=input_ids,
 max_length=30,
 eos_token_id=tokenizer.eos_token_id, 
 early_stopping=True)

tokenizer.decode(out_ids[0][1:])

#<extra_id_0> на бензин<extra_id_1> условии сохранения текущей ситуации<extra_id_2> ТАСС<extra_id_3>.</s>
```

Возможные примеры работы с затравками:

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и ихкорректных продолжений, затем целевая затравка.

**Совет:** чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`,`<|endoftext|>`,`<s>`,`</s>`, вы можете использовать для форматирования своих примеров.

## KF Serving

Класс `KFServingRuT5LargeModel` представлен ниже.

Работа с моделью возможна в 2 вариантах:

1. режим кодировки `("mode": "encoding")` - получение векторных представлений текста
2. режим денойзинга `("mode": "denoising")` - заполнение масок-пропусков в тексте:

`'Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>'`

denoising является режимом по умолчанию, если режим не указан в запросе.

Независимо от режима работы, функция predict возвращает словарь вида:

```
 predictions: {‘text’: ‘’, ‘extra_id_..’: ‘’}
```

```jsx
class KFServingRuT5LargeModel(kfserving.KFModel):
 def __init__(self, title: str, model_path="ruT5-large/"):
 super().__init__(name)
 self.name = name
 self.ready = False
 self.model_path = model_path
 self.model = T5ForConditionalGeneration.from_pretrained(self.model_path)
 self.tokenizer = T5Tokenizer.from_pretrained(self.model_path)
 self.encoder = T5EncoderModel.from_pretrained(self.model_path)

 def load(self):
 self.ready = True

 def predict(self, request: Dict) -> Dict:
 raw_text = request['instances'][0]['text']
 mode = request['instances'][0].get('mode', 'denoising')
 skip_special_tokens = request['instances'][0].get('skip_special_tokens', True)
 postprocess = request['instances'][0].get('postprocess', False)
 if mode == 'denoising':
 pred, error_msg = generate(
 raw_text, self.model, self.tokenizer,
 skip_special_tokens, postprocess
 )
 else:
 pred, error_msg = encode(raw_text, self.encoder, self.tokenizer), None
 if error_msg is None:
 return {"predictions": pred, "mode": str(mode)}
 else:
 return {"predictions": pred, "mode": str(mode), "error_message": error_msg}
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ruT5_large import KFServingRuT5LargeModel

model = KFServingRuT5LargeModel("kfserving-rut5-large")
model.load()

#denoising
model.predict({"instances": [{"text": "Хочу гороскоп на <extra_id_0> для овнов.", 
 "mode": "denoising", "skip_special_tokens": True}]})

#encoding
res = model.predict({"instances": [{"text": "Снижение цен <extra_id_0> в Москве возможно только при <extra_id_1>. Это условие названо в аналитической заметке агентства <extra_id_2>, поступившей в редакцию <extra_id_3>", "mode": "encode"}]})
res["predictions"]
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/bottom-t5-bert.png)

Русская Sequence2Sequence Model, 737 млн параметров

Русская Sequence2Sequence Model, 737 млн параметров.
Модель трансформера для русского языка, состоящая из анкодера и декодера. 
Модель решает задачу генерацию текстов, а также может быть обучена на широком списке NLP-задач.

ruT5 large


    ## Возможности

    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_1.png)
    Kandinsky 2.2 как и версия Kandinsky 2.1 даёт возможность генерировать картинки по текстовому описанию на русском или английском языках, а также может создавать вариации изображения, совмещать два изображения, а также изменять изображение по текстовому описанию. 

    В новой версии теперь можно создавать изображения более высокого разрешения (до 1024 пикселей) с различным соотношением сторон, а получающиеся результаты будут обладать высокой степенью фотореалистичности. В модели также появилась архитектурная опция ControlNet, которая позволяет контролировать вносимые в картинку изменения таким образом, чтобы не затронуть общую концепцию сцены.

    Архитектурно Kandinsky 2.2 не отличается от версии 2.1, но за счёт увеличения энкодера изображений для Image prior модели до версии CLIP ViT-g удалось повысить качество генераций. Также в рамках общей архитектуры мы перестали передавать текстовые эмбеддинги в диффузионную модель UNet.

    Среди нескольких возможных способов использования генеративной модели мы особое внимание уделили улучшению качества режима inpainting/outpainting. Эта функция даёт модели способность дорисовывать изображения на основе текстового описания.

    ## Преимущества

    Модель содержит 4.6 млрд. параметров, поэтому её можно развернуть на обычной GPU.

    Основное обучение моделей UNet и image prior составило 1M итераций и ещё 200k итераций файнтюнинга.

    В составе дополнительных данных для обучения мы использовали около 300 млн. новых высококачественных изображений и их описаний.

    ## Примеры генераций

    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_2.png)
    ![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/kandinsky_2_2/k22_3.png)

    ## Инструкции по использованию

    1.&nbsp;Text-to-Image

    ```
    import torch
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )

    device = torch.device('cuda:0')

    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)

    img_emb = prior(
        prompt="a beautiful cat",
        num_inference_steps=25,
        num_images_per_prompt=1,
        negative_prompt=""
    ).image_embeds

    negative_decoder_prompt = "bad image, low resolution"
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=1
    )

    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds

    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        guidance_scale=5,
        num_inference_steps=50,
        height=1024,
        width=1024
    ).images
    ```

    2.&nbsp;Image Fusion

    ```
    import torch
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )
    
    device = torch.device('cuda:0')
    
    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)
    
    texts = ["a cat", "a dog"]
    text_weights = [0.5, 0.5]
    images = []
    image_weights = []
    
    negative_prior_prompt = ""
    negative_decoder_prompt = ""
    bs = 1
    
    img_emb = prior.interpolate(
        images_and_prompts=images+texts,
        weights=image_weights+text_weights,
        num_inference_steps=25,
        num_images_per_prompt=bs,
        negative_prompt=negative_prior_prompt
    ).image_embeds
    
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=bs
    )
    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds
    
    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        num_inference_steps=50,
        guidance_scale=5, 
        height=1024,
        width=1024
    ).images
    ```

    3.&nbsp;Image Variations

    ```
    import torch
    from PIL import Image
    from diffusers.pipelines.kandinsky2_2 import (
        KandinskyV22PriorEmb2EmbPipeline, KandinskyV22InpaintPipeline,
        KandinskyV22PriorPipeline, KandinskyV22Pipeline
    )
    
    device = torch.device('cuda:0')
    
    prior = KandinskyV22PriorPipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-prior',
        torch_dtype=torch.float16
    ).to(device)
    decoder_generate = KandinskyV22Pipeline.from_pretrained(
        'kandinsky-community/kandinsky-2-2-decoder',
        torch_dtype=torch.float16
    ).to(device)
    
    img = Image.open("cat.png")
    
    negative_prior_prompt = ""
    negative_decoder_prompt = ""
    bs = 1
    
    img_emb = prior.interpolate(
        images_and_prompts=[img],
        weights=[1.0],
        num_inference_steps=25,
        num_images_per_prompt=bs,
        negative_prompt=negative_prior_prompt
    ).image_embeds
    
    negative_emb = prior(
        prompt=negative_decoder_prompt,
        num_inference_steps=25,
        num_images_per_prompt=bs
    )
    if negative_decoder_prompt == "":
        negative_emb = negative_emb.negative_image_embeds
    else:       
        negative_emb = negative_emb.image_embeds
    
    batch_images = decoder_generate(
        image_embeds=img_emb,
        negative_image_embeds=negative_emb,
        num_inference_steps=50,
        guidance_scale=5, 
        height=1024,
        width=1024
    ).images
    ```

    ## Ccылки
    [GitHub](https://github.com/ai-forever/Kandinsky-2)
    

Новая диффузионная модель для генерации фотореалистичных изображений по тексту

Kandinsky 2.2

## Возможности

Сервис позволяет распознавать объекты на изображениях. Подходит для задач с высокими требованиями к качеству предикта. Модель может быть полезна для сортировки изображений в фотобанках, классификации типов документов, решения задач поиска объектов определенного класса на изображениях большого разрешения с множеством деталей (например, грузовики на запрещенном для грузового транспорта участке дороги).

## Пайплайн модели:

Единая нейронная сеть применяется к полному изображению. Сеть делит изображение на области, предсказывает ограничительные рамки и вероятности для каждой области. Ограничивающие рамки взвешиваются по прогнозируемым вероятностям.

## Преимущества

Модели семейства YOLO исключительно быстры и намного превосходят R-CNN (Region-Based Convolutional Neural Network) и другие модели. Это позволяет добиться обнаружения объектов в режиме реального времени!

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-1.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-2.png)

## Сценарии использования

Детектирование объектов в реальном времени

Модель может быть дообучена под специфические задачи. Такие как:

- медицинская диагностика по рентгеновским снимкам, гистологическим срезам и т.д.;
- распознавание утечек на изображениях аэрофотосъемки;
- визуальный контроль исправности деталей, качества производственного сырья и др;
- определение нарушений, связанных с присутствием определенного класса объектов в запрещенных локациях, например: дети в опасных зонах, фаера на трибунах стадионов, люди на небезопасном расстоянии от строительной техники.

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

## Запрос

 ```
{ "instances":[ { "image": "your base64 string" } ] }
```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-4.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-5.png)

## Полезные сcылки

GitHub - [https://github.com/thtrieu/darkflow](https://github.com/thtrieu/darkflow)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/tensorflow/tensorflow/blob/master/LICENSE)

Модель повышенного качества для распознавания классов объектов.

Full Object Detection


### Возможности

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kadinsky_v2_detailed_1.png?v=1)

Kandinsky 2.0 даёт возможность генерировать картинки по текстовому описанию на одном из 101 языков или на комбинации из этих языков, а также дорисовывать недостающие части изображения и создавать картины по наброску.

Архитектура Kandinsky 2.0 относится к классу диффузионных моделей с обуславливанием. Основная идея данного подхода заключается в постепенном восстановлении картинки из шума, путём движения в сторону максимизации правдоподобия на реальных картинках. Степень этого движения предсказывается нейронной сетью UNet на каждом обратном шаге диффузии. Обуславливание на текст реализован за счёт добавления слоёв перекрёстного внимания в архитектуру сети UNet. Отметим, что обучение UNet происходило не напрямую в пространстве изображений, а в латентном пространстве сети KL-AE.

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_2.png?v=1)
Архитектура Kandinsky 2.0

Процесс обучения Kandinsky 2.0 состоял из трёх частей:

1. Предобучение на данных с разрешением картинок 256x256
2. Обучение на данных с разрешением картинок 512x512
3. Обучение на сильно отфильтрованных данных (100M) с разрешением 512x512

Для решения задач inpainting и outpainting обучались дополнительно со случайным маскированием областей изображений.

### Преимущества

Модель содержит 2 млрд. параметров, поэтому её можно развернуть на обычной GPU. Высокой скорости инференса модели удалось также добиться за счёт того, что необходимые для генерации картинки текстовые эмбеддинги могут быть посчитаны отдельно на CPU.

### Сценарии использования

1. Генерация картинки по тексту 

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_3.png?v=1)
Железный человек on the Moon 背景中的烟花

2. Inpainting
3. Outpainting

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_4.png?v=1)
Зелёная планета в космосе

4. Картина по наброску

![Изображение](https://cdn.cloud.ru/backend/images/ai-services/kandinsky_v2_detailed_5.png?v=1)


### Инструкции по использованию

1. Text2Img
```
from natalle.natalle_model import Natalle

config_name = 'inference.yaml'
path2weights = 'natalle.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='text2img')
images = model.generate_text2img('caption', batch_size=2, h=512, w=512)
```

2. Img2Img
```
from natalle.natalle_model import Natalle
from PIL import Image

config_name = 'inference.yaml'
path2weights = 'natalle.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='img2img')
init_image = Image.open('image.jpg')
images = model.generate_img2img('caption', init_image, strength=0.6)
```

3. Inpainting and Outpainting
``` 
from natalle.natalle_model import Natalle
from PIL import Image
import numpy as np

config_name = 'inference.yaml'
path2weights = 'natalle_inpainting.pt'
device = 'cuda'

model = Natalle(config_name, path2weights, device, task_type='inpainting')
init_image = Image.open('image.jpg')
mask = np.ones((512, 512), dtype=np.float32)
mask[100:] =  0
images = model.generate_inpainting(
'caption', init_image, mask, guidance_scale=7, num_steps=50
)
```

### Ccылки

[GitHub](https://github.com/ai-forever/NATALLE)


Мультиязычная диффузионная модель для генерации изображений по тексту

Kandinsky 2.0


### Описание проблемы

В современном мире поток знаний непрерывен, каждый день происходит множество событий в спорте, науке, искусстве и т. д. Однако, когда мы обучаем большую нейросетевую языковую модель, мы обычно берем срез данных, доступных в интернете или других источниках на текущий момент, таким образом, наша модель не будет обладать знаниями о том, что произошло в 2021 году, если мы обучали ее в 2020. Поэтому мы хотим иметь такую языковую модель, которая обладает актуальными знаниями в каждый момент времени: сегодня, через неделю или даже через несколько месяцев, но при этом она должна помнить еще и старые знания. Однако обычный fine-tuning языковых моделей на новых данных приводит к проблеме катастрофического забывания - нейронная сеть теряет старые знания и переобучается.

### Преимущества

Модель обладает актуальными знаниями на 17 октября 2022 года, и при этом помнит датасет, на котором обучалась базовая модель - перплексия на оригинальном датасете не выше **20** (базовая модель **13.6**). Перплексия на валидационных датасетах новостных источников также в районе **20**.

Далее планируется продолжить актуализировать модель каждый день/неделю.

### Сценарии использования

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст.

**Входные параметры инференса:**

*Обязательные параметры:*

```text``` - текст для продолжения

*Необязательные параметры:*

```top_k``` - параметр top_k текста для генерации. дефолтное значение 5

```top_p``` - параметр top_p текста для генерации. дефолтное значение 0.95

```repetition_penalty``` - штраф за повторные реплики. дефолтное значение 1.5

```length``` - длина продолженного текста (не больше 1535). дефолтное значение 250

```seed``` - random seed. дефолтное значение выбирается случайно

**Выходные параметры инференса.** 

Возвращается словарь со следующими полями:

```predictions```- текст, продолженный моделью

### **Примеры:**

*Запрос:*

```
{"instances": [{ "text": "Александр Сергеевич Пушкин родился в"}]}
```

*Результат:*

```
{'predictions': ['Александр Сергеевич Пушкин родился в 1799 году в селе Михайловское (ныне Пушкинский район Псковской области) в крестьянской семье. Его отец, Александр Сергеевич Пушкин, происходил из старинного дворянского рода. ']'}}
```

*Запрос:*

```
{"instances": [{ "text": " Заголовок: Минпросвещения запретило учителям использовать WhatsApp"}]}
```

*Результат:*

```
{'predictions': ['Заголовок: Минпросвещения запретило учителям использовать WhatsApp при работе в школах
Текст: Министр просвещения Ольга Васильева /tags/personsiya-olgaeva), возглавляющий ведомство, не дала своим подчиненным и их коллегам по министерству разрешения на использование мобильного телефона во время уроков. Об этом «Известиям» сообщил источник из министерства образования России. ']'}}
```


### Дисклеймер

При использовании модели ruGPT-3 Large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством модели.


Molotilka ruGPT-3 Large - это современная модель генерации текста для русского языка, содержит 760 миллионов параметров.

ruGPT-3 Large - это современная модель генерации текста для русского языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165). Она была взята в качестве базовой модели для Molotilka ruGPT-3 Large - это модификация модели с использованием технологии [adapters](https://aclanthology.org/2020.emnlp-main.617/) и разработанного инструмента Molotilka (ML Toolkit for continuous learning). Модель Molotilka ruGPT-3 Large содержит 760 миллионов параметров. Модель обучалась с длиной контекста 1536 токенов на данных нескольких новостных источников начиная с 1 мая 2022 года каждый день вплоть до 17 октября 2022 года на 4 gpu.

Molotilka ruGPT-3 Large

## Возможности

Решение от Napoleon IT позволяет ритейлерам определять цены и классифицировать товары на изображениях. Автоматизируется процесс ручного сбора данных мониторинга цен и товаров конкурентов.

**Описание сервиса:** Сервис состоит из нескольких моделей, которые позволяют последовательно распознать товары и ценники по изображениям. Product analyzer обучен на изображениях из Российских ритейл сетей.

**Пайплайн моделей:**

1. Находит координаты всех товаров и ценников на изображении
2. На ценниках находит область цены
3. OCR модель распознает цены на ценниках
4. Извлекает из изображений товаров вектора, отличимые в векторном пространстве. Эти векторы сравниваются с эталонными и если значение меньше порогового, то это означает принадлежность к классу.

**Под каждую задачу используются следующие модели:**

Детекция:

- EfficientDet5

Feature Extraction:

- ResNet обученный с применением ArcFace Loss

Детектирование цены в области ценника:

- Unet

OCR:

- AttentionOCR, обученная на миллионах примеров вырезанных цен

### Преимущества

Бизнес преимущества: автоматизация процесса ручного сбора данных мониторинга цен и товаров конкурентов, а также автоматизированный контроль раскладки товаров.

Технические: Сервис уже собран в общий пайплайн распознавать и позволяет находить все товары и ценники, считывать текст цены и классифицировать товар без дополнительного обучения моделей, с помощью сравнения векторов признаков с эталонными.

### Сценарии использования

- **Мониторинг цен**

Изначально формирование цены на товарные позиции в крупном магазине складывается из нескольких десятков переменных: затраты на закупку, логистику, выплату налогов, а также маржа, эластичность спроса, стоимость аналогов в других торговых сетях и пр. Чтобы их отслеживать, можно использовать ценовой мониторинг. Это система, которая по фотографии распознает товары на полках, их объем и цены, а затем агрегирует их стоимость у разных ритейлеров. Фото стеллажей в магазинах-конкурентах делают специальные сотрудники — мониторщики.

**Как использовать?** Ваш сотрудник отправляется на конкурентную разведку в ближайший магазин и присылает фотографии полок с товарами. Далее вы хотите распознавать товары на этих изображениях. Вы отправляете их на сервис, в ответ получаете все координаты товаров и их цен, а также вектора товаров, извлеченные моделью, которые можно сравнить с эталонными векторами полученными из фотографий в базе товаров.

- **Контроль выкладки товаров**

Ритейлер может легко потерять покупателей, если полки его магазинов окажутся пустыми: никто не захочет заходить в несколько супермаркетов, чтобы приобрести все необходимое. Данное решение позволяет избежать подобной ситуации, поможет отследить количество продуктов на стеллажах и сформировать заявки на закупки.

**Как использовать?** Для проверки уровня заполненности полки в магазине необходимо ее сфотографировать. Далее отправить на сервис, в ответ получить все координаты товаров, на основе которых определяется сколько пространства заполнено товарами.

### Инструкции по использованию

```
import base64
import requests
# считать изображение в байтах
with open("test_image.jpg", "rb") as fp:
 encoded_string = base64.b64encode(fp.read()).decode("utf-8")

headers = {
 "content-type": "application/json",
 "x-api-key": "your-api-key",
 "x-workspace-id": "your-workspace-id"
}

# отправить запрос на распознавание
results = requests.post(
	server_url, json={"image": encoded_string}, headers=headers
)

image_recognition_results = results.json()["raw_shelf_results"]

product_contours = image_recognition_results["raw_product_contours"]
pricetag_contours = image_recognition_results["raw_pricetag_contours"]
price_contours = image_recognition_results["raw_price_contours"]
```

Ответ от сервиса приходит в формате json:

```
"raw_shelf_results":
 {
 "raw_product_contours": Список задетектированных товаров на изображении и их эмбеддинги
 [
 {
 "coords": [x, y, width, height] - Координаты товаров на изображении
 "embedding": [] Вектор 512 значений, извлеченный из задетектированного товара
 }
 ]
 "raw_pricetag_contours": Список задетектированных ценников на изображении
 [
 {
 "coords": [x, y, width, height] - Координаты ценников на изображении
 }
 ]
 "raw_price_contours": Список распознанных цен на изображении, координаты и вероятности распознаваний
 [
 {
 "coords": [x, y, width, height] - Координаты цен на изображении
 "price": str Распознанная на изображении цена (рубли и копейки)
 "proba": float Вероятность распознанной цены
 }
 ]
 }
```

Отрисовать результаты распознавания на изображении можно следующим образом:

```
import cv2
import matplotlib.pyplot as plt

def plot(src, cmap=None, title=None, size=(10, 10)):
 %matplotlib inline
 plt.rcParams["figure.figsize"] = size
 plt.imshow(src, cmap)
 plt.title(title)

def plot_boxes(img, contours: list, color=None, labels=None, line_thickness=None):
 if not labels:
 labels = [None for i in range(len(contours))]
 # Plots one bounding box on image img
 for contour, label in zip(contours, labels):
 tl = line_thickness or round(0.002 * (img.shape[0] + img.shape[1]) / 2) + 1 # line/font thickness
 c1, c2 = (contour[0], contour[1]), (contour[2]+contour[0], contour[3]+contour[1])
 img = cv2.rectangle(img, c1, c2, color, thickness=tl, lineType=cv2.LINE_AA)
 if label:
 tf = max(tl - 1, 1) # font thickness
 t_size = cv2.getTextSize(label, 0, fontScale=tl / 3, thickness=tf)[0]
 c2 = c1[0] + t_size[0], c1[1] - t_size[1] - 3
 cv2.rectangle(img, c1, c2, color, -1, cv2.LINE_AA) # filled
 cv2.putText(img, label, (c1[0], c1[1] - 2), 0, tl / 3, [0, 0, 0], thickness=tf, lineType=cv2.LINE_AA)
 return img
```

```
image = cv2.cvtColor(cv2.imread("test_image.jpg"), cv2.COLOR_BGR2RGB)
plot(img, title=image_name)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-1.png)

```
products_img = plot_boxes(
 image,
 [i["coords"]
 for i in product_contours],
 color=(0, 255, 0),
 labels=["product" for i in range(len(product_contours))]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-2.png)

```
pricetags_img = plot_boxes(
 image,
 [i["coords"] for i in pricetag_contours],
 color=(255, 0, 0),
 labels=["pricetag" for i in range(len(pricetag_contours))]
)

prices_img = plot_boxes(
 pricetags_img,
 [i["coords"] for i in price_contours],
 color=(125, 125, 125),
 labels=[i["price"] for i in price_contours]
)

plot(prices_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-3.png)

### Классификация товаров

В данном случае классификация товаров происходит путем расчета Евклидова расстояния между извлеченными векторами, товар считается классифицированным по достижению порогового значения расстояния. Модель извлечения вектора из изображения обучена таким образом, что расстояние между векторами похожих изображений минимизируется а между векторами разных изображений максимизируется.

База с товарами, которые мы будем классифицировать в таком случае будет выглядеть как изображения товаров и извлеченные из них вектора той же длины и той же моделью.

Добавить свой товар в базу для распознавания можно путем добавления фотографий этого товара с разных ракурсов(чем больше вариативность тем лучше) и извлечения векторов из этих изображений. Таким образом у нас реализован подход Zero-shot learning, для добавления нового класса нам не нужно переобучать модель.

Отправим изображение для извлечения вектора и создадим базу товаров :

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-4.png)

```
import base64

with open("adrenalin.jpg", "rb") as fp:
 encoded_string = base64.b64encode(fp.read()).decode("utf-8")

results = requests.post(server_url, json={"image": encoded_string}, headers=headers)

image_recognition_results = results.json()["raw_shelf_results"]

product_contours = image_recognition_results["raw_product_contours"]
pricetag_contours = image_recognition_results["raw_pricetag_contours"]
price_contours = image_recognition_results["raw_price_contours"]

# проверим, что товар корректно задетектился
img = cv2.cvtColor(
cv2.imread(f"adrenalin.jpg"), cv2.COLOR_BGR2RGB)

products_img = plot_boxes(
 img.copy(),
 [i["coords"]
 for i in product_contours],
 color=(0, 255, 0),
 labels=["product" for i in range(len(product_contours))]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-5.png)

```
from scipy.spatial import distance

def find_closest(desc_1, base):
		"функция классификации по векторному расстоянию"
 dists = []

 for d in base:
 desc_2 = d["desc"]
 dist = distance.euclidean(desc_1, desc_2)
 dists.append(dist)
 ind = int(np.argmin(dists))
 sku = base[ind]["sku"]
 return sku, dists[ind]
```

```
# добавим в базу извлеченный вектор
base = [{"sku": "adrenaline", "desc": product_contours[0]["embedding"]}]

# фильтруем вектора найденных контуров по расстоянию до вектора из base
matched_contours = []

distance_threshold = 0.7
for product_contour in product_contours:
 product_embedding = np.array(product_contour["embedding"])
 closest_product, dist = find_closest(product_embedding, base)
 if dist <= distance_threshold:
 matched_contours.append((product_contour["coords"], closest_product))

img_copy = img.copy()

products_img = plot_boxes(
 img.copy(),
 [i[0] for i in matched_contours],
 color=(0, 255, 0),
 labels=[i[1] for i in matched_contours]
)

plot(products_img)
```

![Изображение](https://cdn.cloud.ru/backend/marketplace/ai/shelf-product-detector-6.png)

### Ccылки

[https://arxiv.org/abs/1801.07698](https://arxiv.org/abs/1801.07698)

[https://arxiv.org/abs/1911.09070](https://arxiv.org/abs/1911.09070)

[https://arxiv.org/pdf/1704.03549.pdf](https://arxiv.org/pdf/1704.03549.pdf)

[https://arxiv.org/abs/1505.04597](https://arxiv.org/abs/1505.04597)

Сервис детектирования и распознавания товаров и цен на изображениях

Products analyzer

**Zero-Shot Text-to-Image Generation.**

Демо русской text-to-image модели, генерирующей изображения по тексту. 

ruDALL-E XL 1.3B (1.3 млрд параметров) + ruCLIP 

### **Новости**

- [Habr: ruDALL-E - генерируем изображения по текстовому описанию, или Самый большой вычислительный проект в России](https://habr.com/ru/company/sberbank/blog/586926/)
- [VC: Вы синиц показываете? Красивое!: что сгенерировали пользователи с помощью нейросети ruDALL-E](https://vc.ru/dev/314812-vy-sinic-pokazyvaete-krasivoe-chto-sgenerirovali-polzovateli-s-pomoshchyu-neyroseti-rudall-e-ot-sbera)

### Подробнее **о модели**

Примеры кода с использованием модели: [GitHub](https://github.com/sberbank-ai/ru-dalle)

Статья OpenAI: [ссылка](https://arxiv.org/pdf/2102.12092.pdf)

Галлерея ruDALL-E: [ссылка](https://rudalle.ru/)

### Технические параметры

- Размер файлов:
 - ruDALL-E XL 1.3B - 2.48 GB
 - VQGAN - 321 MB
 - SuperResolution - 67 MB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: DALL-E, ruDALL-e, pytorch, text2image, image generation, NLP, CV
- Формат: checkpoint
- Версия: 0.1

### **Применение**

Генерация изображений решает две важные задачи, которые не может решить поиск: 

1) позволяет учесть точное описание желаемого

2) создаёт изображение, которое раньше не существовало. 

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Код в демо решает следующие задачи:

1. генерация изображений по текстовому описанию
2. выбор (ранжирование) самого релеватного и качественного изображения из сгенерированных с помощью модели ruCLIP
3. увеличение разрешения изображения в 2, 4, 8 раз - super resolution 

Пример: "*шикарная гостиная с зелеными креслами у окна"*

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/rudalle_xxl_1.png?v=1)

### Описание работы модели

**Шаг 1.** Генерация изображения по тексту:

```jsx
dalle = DalleText2Image('open-ru-dalle/configs/dalle_xl.yml', torch.device('cuda:0'))
dalle._seed_everything(42)

images = dalle.generate_images(
 text='озеро в горах, а рядом красивый олень пьет воду',
 top_k=1024, top_p=0.99,
 images_num=24,
 )
dalle.show(images, 24)
```

Результат:

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_1.png?v=1)

<aside>
💡 Подсказка: вы можете делать перебор параметров top_k и top_p, меняя степень абстрактности изображения. 
Рекомендуемые параметры: top_k=0, top_p=0.95 ; top_k=1000, top_p=0.95 ; top_k=1536, top_p=0.99

</aside>

**Шаг 2.** Выбираем лучшие изображения:

```jsx
top_images = dalle.cherry_pick_by_clip(images, text, count=6)
dalle.show(top_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_2.png?v=1)

Шаг 3. SuperResolution

```jsx
sr_images = dalle.super_resolution(top_images)
dalle.show(sr_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_3.png?v=1)

Готово!

## **Работа с** KF Serving **API**

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.
Ниже пример запроса. 

```jsx
import base64
import requests
from io import BytesIO
from IPython.display import display
from PIL import Image

response = requests.post(
 'http://localhost:8080/v1/models/kfserving-default:predict', 
 json={
 "instances": [
 {
 "text": "пейзаж со снежными горами и озером розового цвета", 
 "top_k": 1500,
 "top_p": 0.99,
 "images_num": 4,
 "rerank_top": 2,
 "hi_res": True
 }
 ]
 })
for imgtext in response.json()['images']:
 msg = base64.b64decode(imgtext.encode('ascii'))
 img = Image.open(BytesIO(msg))
 display(img)
```

### Галерея примеров:

Разные цветы

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_4.png?v=1)

Красивый закат над морем

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_5.png?v=1)

кресло в форме авокадо

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_6.png?v=1)

Деревянная кровать в спальне

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_7.png?v=1)

Фото китайской еды

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_8.png?v=1)

Современное кресло фиолетового цвета

![Untitled](https://cdn.cloud.ru/backend/images/rugpt3family/demo_rudalle_9.png?v=1)

### **Самая большая вычислительная задача в России**

На платформе Cloud.ru ML Space и суперкомпьютере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. 
Самая большая обученная модель ruDALL-E XXL (12 миллиардов параметров) сравнима с английской [DALL-E](https://openai.com/blog/dall-e/) от OpenAI!

Попробуйте быструю генерацию в приложении [Салют](https://sberdevices.ru/app/). Для активации навыка скажите «Включи художника». Или попробуйте Телеграм бота [@sber_rudalle_xl_bot](https://t.me/sber_rudalle_xl_bot)

### Дисклеймер

При использовании демо модели ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruDALL-E XL 1.3B и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Демо text-to-image модели, 1.3 млрд параметров

Demo ruDALL-E


### Описание

Подключите свое приложение к самой большой нейросети для русского языка ruGPT-3.

Демо модели ruGPT-3 1.3B. Для перехода в swagger нажмите кнопку Подключить.

Модели ruGPT-3, доступные в open source — это: 

- 760 миллионов параметров (ruGPT-3 Large).
- 1.3 млрд параметров (ruGPT-3 XL).
- Длина контекста — 2048
- Перплексия на тестовой выборке — ruGPT-3 Large 13.6, ruGPT-3 XL 12.05

Модели умеют продолжать тексты на русском и частично на английском языках. Для этого пользователю необходимо сформулировать «затравку» - фразу, которую модель допишет.

Нейросеть обучена на более чем 600 Гб открытых данных: википедии, художественной литературе, диалогах, программном коде.

Нейросеть демонстрирует state-of-the-art возможности для русского языка и умеет продолжать любой текст. Результат, который будет получен с помощью применения модели, не может быть предсказан заранее. 

Цель этой страницы – удовлетворить исследовательский интерес научного сообщества, а также предложить API ruGPT-3 разработчикам приложений, диалоговых и рекомендательных систем, текстовых классификаторов и т.д.

### **Примеры "затравок"**

В примерах ниже курсивом выделено сгенерированное продолжение.

**Диалоговые системы:**

system: Добрый день! Чем могу помочь?
user: Добрый день! С утра не работает интернет. Тариф 500мбит
system: *хорошо, сейчас попробуем исправить. Ждите.*

**Рекомендательные системы с нуля:**

"Физик Максим, 28 лет, больше всего любит фильмы: «*Улица Сезам», «Матрица».*

**Тематическая классификация текстов:**

Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари» 
Категория: *Новости науки, техника и технологии.*

### Подробнее о ruGPT-3

[Демо проекта с UI](https://russiannlp.github.io/rugpt-demo/)

[GitHub проекта (+ модели)](https://github.com/sberbank-ai/ru-gpts) 

vc.ru: [рассказываем о применимости для бизнеса](https://vc.ru/sber/171679-sber-vylozhil-russkoyazychnuyu-model-gpt-3-large-s-760-millionami-parametrov-v-otkrytyy-dostup)

Habr (tutorial): [Тестируем ruGPT-3 на новых задачах](https://habr.com/ru/company/sberbank/blog/528966/) 

Habr, статья про обучение модели: [Русскоязычная модель GPT-3 Large с 760 миллионами параметров в открытом доступе](https://habr.com/ru/company/sberbank/blog/524522/)

Habr, статья про кейсы применения модели: [Всё, что нам нужно — это генерация](https://habr.com/ru/company/sberbank/blog/550056/)

Вебинар, спикер Татьяна Шаврина: [Разбираем кейсы реального применения ruGPT-3](https://www.youtube.com/watch?v=rm5HlJy73WE&t=55s)

Вебинар, спикер Татьяна Шаврина: [Полный цикл дообучения ruGPT-3 на платформе Cloud.ru ML Space и примеры рыночных кейсов](https://www.youtube.com/watch?v=mh7CGsxYciM)

Модель ruGPT-3 обучена и развёрнута с помощью платформы Cloud.ru ML Space и суперкомпьютера «Christofari» от Cloud.ru.

Архитектура нейросети ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от [OpenAI](https://arxiv.org/abs/2005.14165).

### Дисклеймер

При использовании демо модели ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruGPT-3 XL и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Генерация текста на любые темы, 1.3 млрд параметров

Demo ruGPT-3 XL

Большая модель (12 млрд. параметров) генерации изображений по текстовому описанию на русском языке.

Kandinsky

Сервис построен на базе mBERT и обучена на наборе данных WikiNEuRal для многоязычного NER. Система поддерживает 9 языков (ru, de, en, es, fr, it, nl, pl, pt)

## Возможности

Сервис позволяет детектировать и распознавать российские государственные номера регистрации автомобилей на фотографиях.

## Примеры бизнес-сценариев

1. Предотвращение несанкционированного проникновения ТС на территорию
2. Автоматическое открытие шлагбаума при въезде/выезде автомобилей с территории
3. Допуск автомобилей на территорию паркинга по спискам и гостевым заявкам
4. Выявление случаев нарушения правил проезда и парковки на территории паркинга
5. Расчет времени и стоимости парковки

### Специфика

Любые пожелания и требования по доработке сервиса под вашу конкретную бизнес-задачу (на базе ваших данных) приветствуются.

### Пример взаимодействия

После того как вы запустили сервис, получили адрес и создали API-токен для запросов, можно начать делать запросы на детекцию и распознавание номеров регистрации авто.

## Форма запроса:

``` 
{ "image": "Изображение в кодировке base64" }
```

## Форма ответа:

``` 
{
 "predictions": [
{ "bbox": [xmin, ymin, xmax, ymax, confidence, class], "license_plate": ["license_plate"]}
 ]
}
``` 

## Пример ответа

``` 
{
 "predictions": [
{ "bbox": [475.4500427246094, 426.7696228027344, 524.7568969726562, 440.24713134765625, 0.8754193782806396, 0.0], "license_plate": ["B125TB21"]}
 ]
}
``` 

## Пример запроса на Python:

``` 
import requests

import base64

BASE_URL = "https://mlspace.aicloud.sbercloud.ru/deployments/<region>/<deploy_name>/v1/models/<deploy_name>:predict"

with open('test_image.jpg', 'rb') as fp:
 encoded_string = base64.b64encode(fp.read()).decode('utf-8')

 

results = requests.post(
 BASE_URL,
 json={"image": encoded_string},
 headers=
{ "x-workspace-id": "<your_workspace_id>", "content-type":"application/json", "x-api-key":"<your_api_key>" }
 )

image_recognition_results = results.json()["predictions"]
``` 

## Подключение

Для работы с сервисом необходимо нажать кнопку Создать деплой и выбрать параметры инфраструктуры (Подробнее о [параметрах](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html), о [тарификации](https://cloud.ru/docs/aicloud/mlspace/concepts/general-info__tariffs.html#deployments)). К деплою можно отправлять запросы на [хост](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html) + <ins>для целевого использования модели. REST API сервиса использует протокол HTTP для отправки данных и ответы в формате JSON. HTTP-запросы можно исполнить из консоли с помощью инструмента командной строки</ins> [curl](https://everything.curl.dev/libcurl-http/requests) `{+}`.

Инструкция отправка HTTP-запросов к сервису доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__send-http-requests-to-service.html).

Сервис распознавания государственных номеров авто на фото

Распознавание государственных номеров РФ авто на фото

Детекция номеров авто

## Описание

Модель Rewriter умеет переписывать текст другими словами, при этом сохраняет смысл исходного текста. Rewriter решает задачу перефразирования текста и работает с последовательностями разной длины и доменов. Например, нами тестировались тексты новостей, художественной литературы, отзывы и комментарии из соц сетей.

Рерайтер был обучен с помощью [ruT5-large](https://huggingface.co/sberbank-ai/ruT5-large/tree/main) на текстах разной длины (как на уровне предложений, так и текстовых параграфов), из источников: новостных, разговорных, отзывов, художественной литературы; также были добавлены данные из открытых источников (отфильтрованные [tapaco](https://huggingface.co/datasets/tapaco), ParaphraserPlus).

Характеристики:

- Размер файлов: 2.95 GB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: rewriter, ruT5, pytorch, natural language generation, NLP
- Формат: checkpoint
- Версия: 0.2

### **Использование**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет переписывать переданный текст. На вход подается оригинальный текст с настраиваемыми параметрами генерации, рерайтер генерирует кандидатов, выбирает из них лучшего и возвращает финальный рерайт.

Пользователь может выбрать кол-во генерируемых параметров, а также стратегию выбора лучшего кандидата: 1) либо через метрику BertScore 2) либо через нами обученный классификатор на основе модели Roberta-large. Если метод ранжирования не выбран, то выбирается лучший сгенерированный вариант по обоим метрикам. 

Входные параметры инференса:

```
`text` - оригинальный текст для переписывания
`temperature" - параметр температуры текста для генерации. дефолтное значение 0.95
`top_k` - параметр top_k текста для генерации. дефолтное значение 50
`top_p` - параметр top_p текста для генерации. дефолтное значение 0.90
`repetition_penalty` - штраф за повторные реплики. дефолтное значение 1.5
`num_return_sequences` - кол-во примеров, из которых выбирается лучший рерайт. дефолтное значение 5
`range_mode` - выбор режима ранжирования кандидатов ("all", "bertscore", "classifier"). дефолтное значение all
```

Выходные параметры инференса. Возвращается словарь со следующими полями:

```
`predictions_all` - все удачные перефразированные варианты текста
`origin` - оригинальный текст
`prediction_best` - лучший сгенерированный вариант по одной из метрик (bertscore, классификатор)
```

Примеры:

```
Запрос:
{"instances":
 [{
 "text": "Режим нерабочих дней, по заключениям экспертов, может прервать цепочку заражений коронавирусом, заявил пресс-секретарь президента России Дмитрий Песков.",
 "temperature": 0.9,
 "top_k": 50,
 "top_p": 0.7,
 "range_mode": "bertscore"
 }]
})

Результат:
{'origin': 'Режим нерабочих дней, по заключениям экспертов, может прервать цепочку заражений коронавирусом, заявил пресс-секретарь президента России Дмитрий Песков.', 'predictions_all': ['Песков: режим нерабочих дней может остановить цепочку заражений коронавирусом', 'Дмитрий Песков заявил, что режим нерабочих дней может остановить цепочку заражений коронавирусом', 'Песков: режим нерабочих дней может нарушить цепочку заражений коронавирусом', 'Песков считает, что режим нерабочих дней может прервать цепочку заражений коронавирусом в России.', 'Песков рассказал о возможном прекращении цепочки заражений коронавирусом в России'], 'prediction_best': {'bertscore': 'Песков считает, что режим нерабочих дней может прервать цепочку заражений коронавирусом в России.', 'classifier': ''}}
```

```
Запрос:
{"instances":
 [{
 "text": "Неудачно подобрана картинка в качестве описания товара! На самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. По составу очень добротные - преобладает хлопок, но и эластана достаточно. Цвет насыщенно черный. Размерная сетка неточная на размер, а учитывая свободу кроя в талии и в бедрах даже на два. Я брала по размерной сетке на 44 (российский), а оказались на 48 размер. Продавцом довольна! Спасибо за Вашу работу!",
 "num_return_sequences": 4,
 "range_mode": "classifier"
 }]
}

Результат:
{'origin': 'Неудачно подобрана картинка в качестве описания товара! На самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. По составу очень добротные - преобладает хлопок, но и эластана достаточно. Цвет насыщенно черный. Размерная сетка неточная на размер, а учитывая свободу кроя в талии и в бедрах даже на два. Я брала по размерной сетке на 44 (российский), а оказались на 48 размер. Продавцом довольна! Спасибо за Вашу работу!', 'predictions_all': ['Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Клей "Эль-Гран" немного уступает хлопку, но эластана хватает. Размерная сетка неточная на размер и даже два... Я брала 44 размер, а оказалось на 48. Спасибо!', 'Испортили описание товара, на самом деле джинсы по фасону широкие в талии и больше подойдут девушкам невысокого роста. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... В прайсе указали 48 размер, а выкрутились на 44.', 'Неудачно подобрана картинка. Идеальным является лишь описание товара, и оно имеет мало общего с реальной моделью джинсов по талии... В составе - хлопок, эластан и ацетат. Цвет насыщенно черный с серым оттенком (нарядный синий). Размерная таблица неточная на размер: два минус одна нога в бедрах — это полтора размера! Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!', 'Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!'], 'prediction_best': {'bertscore': '', 'classifier': 'Неудачно подобрана картинка для описания товара. На самом деле джинсы по фасону узкие, меньше подойдут невысоким девушкам. Натуральный состав - хлопок, но и эластана в достаточном количестве. Цвет насыщенно черный... Я брала по размерной сетке 44 (российский), а на выходе оказалась 48 размера. Спасибо!'}}
```

```
Запрос:
{"instances":
 [{
 "text": "Я так хочу на свою работу, так её люблю!",
 "num_return_sequences": 10
 }]
}

Результат:
{'origin': 'Я так хочу на свою работу, так её люблю!',
 'predictions_all': ['Я так хочу быть на своем месте, такая она мне нравится!',
 'Я так хочу работать, люблю!',
 'Я так хочу на работу, я её люблю!',
 'Я так хочу на работу, я ее люблю!',
 'Я так хочу на свою работу, я её люблю!',
 'Я так хочу, чтобы моя работа была моей работой ',
 'Я так хочу на свою работу, что безумно её люблю!',
 'Я так хочу на свою работу, я её очень люблю!',
 'Я так хочу на свою работу, что меня это не останавливает!',
 'Я так хочу на свою работу, мне её не хватает!'],
 'prediction_best': {'bertscore': 'Я так хочу на работу, я её люблю!',
 'classifier': 'Я так хочу на свою работу, я её очень люблю!'}}
```

## Метрики

Для пар [оригинальный текст; сгенерированный текст] автоматические метрики:

`Mean Bleu` - средняя оценка по всем текстам метрики BLEU (BLEU-1)

`Mean Rouge` - средняя оценка по всем текстам метрики ROUGE(ROUGE-L)

`Bert score` - средняя оценка по всем текстам метрики BertScore

`Mean labse score` - средняя оценка по всем текстам метрики LABSE

`Sentence repeat` - процент предложений схожих с оригинальным текстом

### Автоматические метрики сгенерированных текстов

 

DATA | BERTscore | Bleu | LABSE | Rouge-L | Sentence repeat
------ | ------ | ------ | ------ | ------ | ------
Rewriter (classifier range method) | 0.77 | 0.15 | 0.852 | 0.42 | 0.019

### Человеческая оценка сгенерированных текстов

 

Метод ранжирования | Grammar | Meaning | Originality
------ | ------ | ------ | ------
классификатор | 0.92 | 0.64 | 0.92
bertscore | 0.92 | 0.74 | 0.87

Человеческая оценка модели с разным типом выбора кандидата. Оценка производилась на Яндекс.Толоке, спрашивалось насколько сгенериованный текст 1) грамматичен (Grammar) 2) оригинален (Originality) 3) передает смысл (Meaning)

### Полезные ссылки

- [Статья](https://habr.com/ru/company/sberdevices/blog/666420/) от разработчиков сервиса о практическом применении генеративных моделей и создании "Суммаризатора"
- [Статья](https://habr.com/ru/companies/cloud_ru/articles/666704/) про тестирование моделей от контент-менеджера "Меня скоро заменит AI. Почему это офигенно?"

### Дисклеймер

При использовании демо рерайтера на базе модели ruT5 Large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruT5 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE)

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Модель рерайтинга для текстов разной длины и доменов

Рерайтер


## Описание

Модель Суммаризатор - онлайн-инструмент, который сокращает текст, оставляя основные моменты. Инструмент работает с последовательностями разной длины и доменов. Например, нами тестировались тексты новостей, художественной литературы, комментарии из соц сетей.

Суммаризатор был обучен с помощью ruT5-large на текстах разной длины из различных новостных источников.

Характеристики:

- Размер файлов: 6,5 GB
- Модель GPU: V 100
- Фреймворк: pytorch
- Tags: summarizer, summarization, ruT5, pytorch, natural language generation, NLP
- Формат: checkpoint
- Версия: 0.2

## Ограничения

Модель корректно обрабатывает тексты с длиной менее 20 тысяч символов. 

Возможные решения для больших текстов - бить на куски поменьше либо в генерации уменьшить параметр  `num_beams`  (при режиме beamsearch) или `num_return_sequences` (при режиме sampling).

### **Работа с API (Инструкция по использованию)**

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.

Модель умеет сокращать переданный текст. На вход подается оригинальный текст с настраиваемыми параметрами генерации [статья о том, как задавать параметры](https://huggingface.co/blog/how-to-generate), суммаризатор генерирует кандидатов, выбирает из них лучшего и возвращает финальный сокращенный текст.

Входные параметры инференса:

```
`text` - оригинальный текст для суммирования.
`num_return_sequences` - кол-во примеров, из которых выбирается лучший финальный текст. Дефолтное значение 6.
`num_beams` - параметр генерации текста num_beams. Дефолтное значение 5.
`no_repeat_ngram_size` - параметр генерации текста no_repeat_ngram_size - все ngrams такого размера могут встречаться только один раз. Дефолтное значение 3.
`repetition_penalty` - параметр генерации текста repetition_penalty, используется в качестве штрафа за слова, которые уже были сгенерированы. Дефолтное значение 2.0.
`length_penalty` - параметр генерации текста length_penalty - экспоненциальный штраф к длине.  Дефолтное значение 2.0.

`top_k`- параметр top_k текста для генерации. Дефолтное значение 50.
`top_p` - параметр top_p текста для генерации. Дефолтное значение 0.9.
`temperature` - параметр temperature текста для генерации. Дефолтное значение 0.95.

`genstrategy` - параметр переключения между стратегиями генерации (“beamsearch” или “sampling”). Дефолтное значение beamsearch.
```

Выходные параметры инференса. Возвращается словарь со следующими полями:

```
`comment` - комментарий ("Ok", если суммаризация прошла успешно, иначе - текст ошибки)

`origin` - оригинальный текст

`predictions` - варианты сокращенного текста

`prediction_best` - лучший вариант сокращенного текста по метрике bertscore.
```

Примеры:

```
model.predict({"instances": [{
	"text": "Так вот, запись этой песни и голос Веги были настолько чистыми, что их использовали для усовершенствования алгоритма сжатия MP3. Один из разработчиков формата MP3 брал эту песню для тестирования своего алгоритма, слушая ее снова и снова, и все лучше настраивал алгоритм для более точной передачи голоса Веги. Можно даже сказать, что в некоторой степени алгоритм MP3 специально настроен на песню «Tom’s Diner».",
	"num_beams": 5,
	"length_penalty": 1.0
	}]
})

Результат:
{
  "comment": "Ok",
  "origin": "Так вот, запись этой песни и голос Веги были настолько чистыми, что их использовали для усовершенствования алгоритма сжатия MP3. Один из разработчиков формата MP3 брал эту песню для тестирования своего алгоритма, слушая ее снова и снова, и все лучше настраивал алгоритм для более точной передачи голоса Веги. Можно даже сказать, что в некоторой степени алгоритм MP3 специально настроен на песню «Tom’s Diner».",
  "predictions": ['«Tom s Diner» — одна из самых чистых песен в истории MP3.',
   '«Tom s Diner» — одна из самых чистых песен в истории сжатия MP3.'],
  "prediction_best": {'bertscore': '«Tom s Diner» — одна из самых чистых песен в истории MP3.'}
}
```

```
model.predict({"instances":[{
	"text": "Если гриль в вашей духовке расположен внизу.",
	"num_return_sequences": 2
	}]
})

Результат:
{
  "comment": "Ваш текст слишком короткий!",
  "origin": "Если гриль в вашей духовке расположен внизу.",
  "predictions": "Если гриль в вашей духовке расположен внизу."
}
```

## Метрики

Текущие решение было оценено автоматическими метриками и получена человеческая оценка на Толоке по каждому из доменов. Ниже представлены цифры по следующим метрикам:

`Bert score` - средняя оценка по всем текстам метрики BertScore.

`Mean Rouge` - средняя оценка по всем текстам метрики ROUGE(ROUGE-L).

`Mean Bleu` - средняя оценка по всем текстам метрики BLEU(BLEU-1).

`Grammar` - оценка пользователей Толоки, процент сгенерированных текстов без ошибок (орфография, пунктуация, согласование).

`Meaning` - оценка пользователей Толоки, процент сгенерированных текстов, в которых смысл текста передан верно.

`Coherent` - оценка пользователей Толоки, процент связности фактов в тексте.

```jsx
Reviews
BERTscore  85.21
ROUGE-L    70.19
BLEU       37.93
Grammar    93.63
Meaning	   54.18
Coherent   89.64
```

```jsx
Literature
BERTscore  77.56
ROUGE-L    39.3
BLEU       1.77
Grammar    99.49
Meaning    78.98
Coherent   95.76
```

```jsx
SocMedia
BERTscore   75.93
ROUGE-L     35.8
BLEU 	    1.58
Grammar     88.27
Meaning     34.08
Coherent    88.83
```

```jsx
News
BERTscore    74.53
ROUGE-L      30.28
BLEU 	     0.51
Grammar      98.96
Meaning      54.98
Coherent     90.46
```

### Полезные ссылки

- [Статья](https://habr.com/ru/company/sberdevices/blog/666420/) от разработчиков сервиса о практическом применении генеративных моделей и создании "Суммаризатора"
- [Статья](https://habr.com/ru/companies/cloud_ru/articles/666704/) про тестирование моделей от контент-менеджера "Меня скоро заменит AI. Почему это офигенно?"

### Дисклеймер

При использовании демо суммаризатора на базе модели ruT5-large ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruT5 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE)


Сокращает текст, оставляя основные моменты

Суммаризатор

Демо сервиса генеративной болталки (chithat модель) на произвольные темы. 
Основан на базе finetuned модели **ruGPT-3 Large** .
Имя бота маскируется в репликах `%bot_name`. Не цензурируется (18+).

Технологии аналогичны (но не идентичны) болталкам в виртуальных ассистентах Салют.

## Пример запроса к сервису

Воспользуйтесь кнопкой Подключить и перейдите в swagger сервиса.

Болталка принимает на вход текстовую фразу пользователя с предысторией общения (контекст) в виде списка списков нечетной длины, где первая и последняя реплики в списке — пользовательские.

Пример:
```
curl --location --request POST "https://api.aicloud.sbercloud.ru/public/v2/inference/v1/predict/{name}/{predict}/"
--header "Content-Type: application/json"
--header "authorization: <your access token>"
--header "x-api-slug: <your GWAPI key>"
--header "x-workspace-id: <your x-workspace-id>"
--data-raw "{"instances": [{"contexts": [["Предыстория, фраза пользователя", "Предыстория, реплика болталки", "Предыстория, фраза пользователя", "Предыстория, реплика болталки", "текущая фраза пользователя"]]}]}"
```

## Пример ответа сервиса

Болталка выдает список реплик-ответов на присланные контексты
(для пересылки юникодные символы кодируются в ascii).

Пример:
```
{"responses": ["Реплика болталки"]}
```

## Пример локального отладочного обращения к сервису

```
curl --location --request POST "http://localhost:8080/v1/models/kfserving-default:predict"
--header "Content-Type: application/json"
--data-raw "{"instances": [{"contexts": [["Привет, дурилка!"],
["Привет, дурилка!", "сама ты дурилка... картонная", "ничего себе! ну и ответ у тебя"]]}]}" | ascii2uni -a U -q
```

### Справочные видео про виртуальные ассистенты

• [Генеративная chit-chat модель как интересный собеседник](https://www.youtube.com/watch?v=cDNVVe5V_UM)

• [Генеративные разговорные модели: метрики, данные, перспективы](https://youtu.be/RqPW2E6PhTk?t=325)

• [Taming of a Generative Beast](https://youtu.be/-bZAb_cWGlY)

### Справочные видео про генерацию GPT-подобными моделями:

• [Снова про управление мамонтами, или как заставить языковую модель генерировать нужный нам текст](https://youtu.be/Mz3JI_Jxx84)

• [Удачные и неудачные попытки удержать GPT](https://youtu.be/lM6a9e1t-mA)

### Дисклеймер

При использовании демо сервиса Болталка ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного демо.

### Лицензирование

Модель ruGPT-3 Large, на основе которой сделан сервис, и ее исходный код поставляются на основе открытой лицензии [Apache 2.0](https://github.com/sberbank-ai/ru-gpts/blob/master/LICENSE) 

![Apache 2.0](https://cdn.cloud.ru/backend/marketplace/ai/license.png)

Диалоговая модель-собеседник, chit-chat на основе ruGPT-3

Demo Болталка


  ### Короткое описание

  Набор артефактов включает в себя один из крупнейших датасетов молекул и их метаданных. Кроме того, в набор входит 4 модели для предсказания энергии молекулярных конформаций и 2 модели для предсказания DFT-гамильтониана. Комбинация перечисленных артефактов позволяет не только создавать ML-модели для решения задач физической химии, но и оценивать их эффективность.

  ### Возможности

  Датасет содержит результаты численного моделирования уравнения Шредингера для большого количества разнообразных молекул и их конформаций. Это позволяет разрабатывать и исследовать модели машинного обучения направленные на решение задач физической химии.

  Фокус на медицинской химии позволяет применять предобученные модели в классических пайплайнах разработки новых лекарственных препаратов.

  ### Преимущества

  1. Самый большой объем из открытых датасетов: более 1 млн. драг-лайк молекул и свыше 5 млн. конформаций.
  2. Широкий спектр доступных для предсказания свойств: энергия конформации, гамильтониан теории функционала плотности, матрица электронной плотности, дипольный момент, частичные заряды на атомах, HOMO-LUMO gap и др.
  3. В набор входят современные предобученные модели предсказания энергии конформации и электронных свойств молекул с высокой степенью точности.
  4. Различные типы тестовых подвыборок позволяют оценить генерализацию моделей как между различными конформациями, так и между различными хемотипами молекул.

  ### Сценарии использования

  1. Разработка и тестирование новых моделей машинного обучения для задач физической химии.
  2. Использование предобученных моделей для задач поиска перспективных материалов и разработки новых лекарственных препаратов.

  ## Инструкции по использованию

  Скачайте датасет в хранилище платформы и запустите обучение моделей. Примеры работы с датасетом и запуском обучения [https://github.com/AIRI-Institute/nablaDFT](https://github.com/AIRI-Institute/nablaDFT)

  ### Бенчмарк

  1. Предсказание DFT-гамильтониана.
  2. Предсказание энергии молекулярной конформации.

  ### Ccылки

  [https://github.com/AIRI-Institute/nablaDFT](https://github.com/AIRI-Institute/nablaDFT)
  [GitHub лицензия](https://github.com/AIRI-Institute/nablaDFT/blob/main/LICENSE)
  

Самый полный набор артефактов для задач физической химии

nablaDFT molecular electronic structures dataset

Модель GHOST в составе пайплайна переноса содержит несколько этапов постобработки, которые позволяют добиться лучшего качества итогового изображения: специальная процедура блендинга с размытием маски, а также повышение разрешения лица позволяют получить более высокую детализацию.

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ghost.png?v=1)

Подробную информацию о модели можно прочитать в статье на Хабре и в соответствующем репозитории: 

* [Чат-бот для тестирования функционала модели](https://t.me/ghost_sberai_bot)
* [Habr](https://habr.com/ru/company/sberbank/blog/645919/)
* [GitHub](https://github.com/ai-forever/sber-swap)

**Информация об использовании модели:**

Версия модели GHOST принимает на вход изображение-источник, а также целевое изображение или видео, в которое будет выполняться перенос. Результатом является изображение или видео с перенесенным лицом.

## Отправка запроса к сервису

Обращение к модели требует правильно сформированного json-запроса. Далее указан пример универсального запроса к модели, который может быть использован как для переноса на изображение, так и на видео.

### Импорт необходимых библиотек

 ```import cv2
import json
import requests
import boto3
import base64
import time
import uuid
from io import BytesIO
import numpy as np
```

 ### Определяем, переносим ли мы на изображение или видео

 ```
image_to_image = True
```

### Объявляем вспомогательные функции

```def encode_img(img):
jpg_img = cv2.imencode(".jpg", img)
img_b64 = base64.b64encode(jpg_img[1]).decode("utf-8")
return img_b64

def decode_img(img_b64):
"""
Decode bs64 image to np.ndarray format
"""
bin_img = base64.b64decode(img_b64)
buff = BytesIO(bin_img)
img = cv2.imdecode(np.frombuffer(buff.getbuffer(), np.uint8), -1)
img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
return img

def get_update_session(auth_url, 
x_api_key,
x_workspace_id, 
email, 
password, 
sess=None):
if sess is None:
sess = requests.Session()
sess.headers.update({
"Content-Type": "application/json",
"x-api-key": x_api_key
})
resp = sess.post(auth_url, json=dict(email=email, password=password))
token = resp.json()["token"]["access_token"]
sess.headers.update({"authorization": token})
sess.headers.update({"x-workspace-id": x_workspace_id})
return sess
```

 ### Задаем параметры s3

 Инструкция для получения credentials доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/data-catalog__data-processing__uplaod-and-store-data.html#data-catalog-data-processing-uplaod-and-store-data-s3-credentials-and-copying-s3-object-path)

 ```
s3_credentials = {
"endpoint_url" : "endpoint_url",
"namespace" : "namespace",
"bucket" : "bucket",
"access_key_id" : "access_key_id",
"security_access_key" : "security_access_key",}
``` 

 ### Указываем путь до source фотографии и target источника 

 ```
 PATH_TO_IMAGE = "path/to/source/image"
if image_to_image:
PATH_TO_TARGET_IMAGE = "path/to/target/image"
else:
PATH_TO_VIDEO = "path/to/target/video"
```

 ### Загружаем видео на s3 или кодируем изображение в зависимости от поставленной задачи

 ```
 if not image_to_image:
 s3 = boto3.client(
service_name="s3",
endpoint_url=s3_credentials["endpoint_url"],
aws_access_key_id=s3_credentials["access_key_id"],
aws_secret_access_key=s3_credentials["security_access_key"],
)

if not image_to_image:
FOLDER_TO_SAVE = "videos/original" # папка, куда этот файл будет загружен на s3
 s3.upload_file(PATH_TO_VIDEO, s3_credentials["bucket"], f"{FOLDER_TO_SAVE}/{PATH_TO_VIDEO.split("/")[-1]}")
Xs_raw = cv2.imread(PATH_TO_IMAGE)
source_encoded = encode_img(Xs_raw[:, :, ::-1])
if  image_to_image:
Xt_raw = cv2.imread(PATH_TO_TARGET_IMAGE)
target_encoded = encode_img(Xt_raw[:, :, ::-1])
``` 

 ### Составляем json-запрос 

 ```
 if  image_to_image:
 request_json = {"source_image" : source_encoded,
"target_image" : target_encoded,
"use_sr" : True}
else:
request_json = {"source_image" : source_encoded,
"path_to_video" : f"{FOLDER_TO_SAVE}/{PATH_TO_VIDEO.split("/")[-1]}", # путь до видео на s3
"s3_credentials": s3_credentials, # параметры s3 
"folder_to_save": "videos/result", # путь до директории сохранения
"fast_cpu": True,
"use_sr" : True}
```

 ### Отправляем запрос модели 

 ```
LOCAL = False # надо поставить True, если app.py запущен локально
 deploy_id = "deploy_id" 

if LOCAL:
start = time.time()
results_from_cristo = requests.post("http://00.00.00.00:8080/v1/models/kfserving-default:predict", json=request_json)
print(time.time() - start)
else:
start = time.time()
sess = get_update_session("https://api.aicloud.sbercloud.ru/public/v2/service_auth", 
"x_api_key", 
"x_workspace_id",
"email", # email=ID
"password") # password=secret

results_from_cristo = sess.post(
"https://api.aicloud.sbercloud.ru/public/v2/inference/v1/predict/kfserving-{deploy_id}/kfserving-{deploy_id}/",
json=request_json
)

print(time.time() - start)
```

 ### Сохраняем результаты 

 ```
 from matplotlib import pyplot as plt
 if image_to_image:
result = results_from_cristo.json()["result"]
result_image = decode_img(result)
plt.imshow(result_image[:,:,::-1])
else:
path_to_result = results_from_cristo.json()["path_to_result"]
result_name = path_to_result.split("/")[-1]
s3.download_file(s3_credentia["bucket"], path_to_result, result_name)
 print(result_name) 
```

 ### Оценки модели на популярных датасетах /n Примеры переноса лица на изображениях из датасетов VGG Face 2 и CelebA HQ. 

 ![Изображение](https://cdn.cloud.ru/backend/images/datahub/ghost-second.png?v=1)

 Было проведено сравнение GHOST модели и известных SoTA решений. Все метрики рассчитываются так, как описано в статьях FaceShifter,  SimSwap, Hifiswap,  Smooth-Swap. Не углубляясь в математические формулировки, используемые метрики можно описать следующим образом:

 * ID retrieval и shape_ringnet — отвечают за сохранение identity (форма головы и т.д.);
 * exp_ringnet — отвечает за выражение лица и сохранение эмоций; 
 * pose_ringnet и poseHN — отвечают за сохранение позы с помощью моделей Ringnet и Hopenet; 
 * eye_ldmk — за сохранение направления взгляда. 

 По ряду метрик разработанная модель имеет существенное преимущество при оценке на  датасете FaceForensics++. Звездочками показаны наилучшие значения для каждой метрики.


  method | ID&nbsp;retrieval | exp_ringnet | eye_ldmk | poseHN | pose_ringnet | shape_ringnet
  ------ | ------------ | ----------- | -------- | ------ | ------------ | -------------
  FaceSwap (2016) | 58.82 | **0.305** 💥 | 4.22 | 1.94 | 0.045 | 0.75
  DeepFakes (2018) | 72.42 | 0.696 | 11.6 | 7.35 | 0.110 | 0.65
  FaceShifter (2019) | 82.02 | 0.420 | 2.48 | **1.93** 💥 | 0.040 | 0.67
  SimSwap (2021) | 87.42 | 0.340 | 2.91 | 2.13 | **0.035** 💥 | 0.72
  HifiFace (2021) | 89.17 | 0.510 | 2.04 | 2.13 | 0.048 | **0.64** 💥
  Ours | **90.61** 💥 | 0.436 | **2.02** 💥 | 2.26 | 0.047 | **0.64** 💥

Модель для переноса лица с изображения на другое изображение или видео.

Модель состоит из нескольких основных блоков: Identity Encoder (кодируется форма лица-источника), Attribute Encoder (кодируются отличительные особенности лица-источника) и механизм блендинга (встраивание лица в целевое изображение или видео). Отличительная особенность — перенос лица производится с одного фото (one shot модель), дополнительные ракурсы не требуются. Модель GHOST в составе пайплайна переноса содержит несколько этапов постобработки, которые позволяют добиться лучшего качества итогового изображения: специальная процедура блендинга с размытием маски, а также повышение разрешения лица позволяют получить более высокую детализацию.

GHOST



![Изображение](https://cdn.cloud.ru/backend/images/datahub/hagrid.png)

Каждое изображение содержит показывающую жест руку и в некоторых случаях может содержать вторую руку в естественном положении, размеченную дополнительным классом no gesture.


Разметка: bounding box, user id
Фреймворк: pytorch
Размер файлов: 723GB
Количество жестов: 19
Число изображений: 553 991
Формат изображений: FullHD RGB
Уникальных пользователей: 37 563

## Возможности

В записи датасета участвовало не менее 37,563 уникальных пользователей. Набор данных содержит как минимум столько же сцен и очень разнороден по освещению, расстоянию субъекта до камеры, их возрасту и полу. Все снимки выполнены в RGB формате и более 90% из них - в FullHD (1920х1080).

HaGRID разделен на 18 классов жестов: call, dislike, fist, four, like, mute, ok, one, palm, peace, peace_inverted, rock, stop, stop_inverted, three, three2, two_up, two_up_inverted.

Каждое изображение содержит показывающую жест руку, и в некоторых случаях может содержать вторую руку в естественном положении, размеченную дополнительным классом no gesture.

### **Преимущества**

Все данные и обученные на них модели для задач классификации и детекции жестов абсолютно бесплатны и доступны для скачивания. Кроме того Вы можете скачать мини версию набора данных, содержащую по 100 изображений с разметкой на класс. Демо-версия работы моделей на обученных данных также доступна в репозитории.

## Сценарии использования

С помощью HaGRID можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов.

## Инструкции по использованию

Вы можете скачать датасет в виде набора архивов размером 723GB. Поскольку датасет занимает много места, мы разбили обучающую выборку на 18 архивов по числу классов в датасете (каждый архив занимает примерно ~40GB).

**Данные**:

Gesture | Link | Size (GB)
------ | ------ | ------
CALL | [https://sc.link/FNiTG](https://sc.link/FNiTG) | 37.2
DISLIKE | [https://sc.link/7mcWR](https://sc.link/7mcWR) | 40.9
FIST | [https://sc.link/DkbKX](https://sc.link/DkbKX) | 41.2
FOUR | [https://sc.link/vJA5](https://sc.link/vJA5) | 42.1
LIKE | [https://sc.link/XZJPT](https://sc.link/XZJPT) | 41.2
MUTE | [https://sc.link/gJ0ya](https://sc.link/gJ0ya) | 42.1
OK | [https://sc.link/eFqR1](https://sc.link/eFqR1) | 41.4
ONE | [https://sc.link/NMpZ0](https://sc.link/NMpZ0) | 41.7
PALM | [https://sc.link/GtTnd](https://sc.link/GtTnd) | 42.1
PEACE | [https://sc.link/LTQNz](https://sc.link/LTQNz) | 41.4
PEACE_INV. | [https://sc.link/WFSpC](https://sc.link/WFSpC) | 39.6
ROCK | [https://sc.link/YlMdI](https://sc.link/YlMdI) | 40.7
STOP | [https://sc.link/bnlhN](https://sc.link/bnlhN) | 40.8
STOP_INV. | [https://sc.link/vvKG4](https://sc.link/vvKG4) | 40.4
THREE | [https://sc.link/FtH3C](https://sc.link/FtH3C) | 41.2
THREE2 | [https://sc.link/fC4dT](https://sc.link/fC4dT) | 39.2
TWO_UP | [https://sc.link/9xmvQ](https://sc.link/9xmvQ) | 40.9
TWO_UP_INV. | [https://sc.link/ZDoYu](https://sc.link/ZDoYu) | 39.9

Разметка: [https://sc.link/Sfa95](https://sc.link/Sfa95)

## Модели

| Detector | Link | mAP |
| --- | --- | --- |
| SSDLiteMobileNetV3Small | https://sc.link/rcJBg | 57.7 |
| SSDLiteMobileNetV3Large | https://sc.link/pVVDQ | 71.6 |
| RetinaNet_ResNet50 | https://sc.link/sVRwt | 79.1 |
| YoloV7Tiny | https://sc.link/kqwi2 | 71.6 |

| Full Frame Classifiers | Link | F1 Gestures |
| --- | --- | --- |
| MobileNetV3_small | https://sc.link/R5tHf | 86.4 |
| MobileNetV3_large | https://sc.link/2Mv2o | 91.9 |
| VitB16 | https://sc.link/tuRj8 | 91.1 |
| ResNet18 | https://sc.link/lyXuV | 97.5 |
| ResNet152 | https://sc.link/rhX24 | 95.5 |
| ResNeXt50 | https://sc.link/Revne | 98.3 |
| ResNeXt101 | https://sc.link/vmahk | 97.5 |

**Детектор**

SSDLite - [https://sc.link/YXg2](https://sc.link/YXg2)

## Полезные ссылки

- [Arxiv](https://arxiv.org/abs/2206.08219)
- [Kaggle](https://www.kaggle.com/datasets/kapitanov/hagrid)
- [Github](https://github.com/hukenovs/hagrid)
- [Habr](https://habr.com/ru/company/sberdevices/blog/671614/)

## Авторы

- Капитанов Александр
- Махлярчук Андрей
- Кванчиани Карина
- Нагаев Александр
- Крайнов Роман


Самый разнородный датасет для системы распознавания жестов

HaGRID (HAnd Gesture Recognition Image Dataset) – самый разнородный датасет для системы распознавания жестов. Он состоит из 553,991 изображений, разделенных на 18 классов. В разметку входят боксы кистей рук с меткой класса жеста.

HaGRID

## Возможности

Сервис позволяет распознавать объекты на изображениях.

Подходит для быстрого тестирования гипотез, запуска на небольших конфигурациях инфраструктуры и для задач с не высокими требованиями к качеству предикта.

Так же существует модель с полным функционалом распознавания объектов (ссылка на большую модель в платформе).

Мини-версия модели и модель с расширенными возможностями могут быть полезны для сортировки изображений в фотобанках, классификации типов документов, решения задач поиска объектов определенного класса на изображениях большого разрешения с множеством деталей (например, фаеры на трибунах стадионов).

## Пайплайн модели:

Единая нейронная сеть применяется к полному изображению. Сеть делит изображение на области и предсказывает ограничительные рамки и вероятности для каждой области. Ограничивающие рамки взвешиваются по прогнозируемым вероятностям.

## Преимущества

Работает быстро и точно. На карте, измеренной при .5 IOU, YOLOv3 находится на одном уровне с фокусной потерей, но примерно в 4 раза быстрее.

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-1.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-2.png)

## Сценарии использования

Детектирование объектов в реальном времени

Все веса модели доступны для скачивания, поэтому она может быть дообучена под специфические задачи. Такие как:

- медицинская диагностика по рентгеновским снимкам, гистологическим срезам и т.д.;
распознавание утечек на изображениях аэрофотосъемки;
- визуальный контроль исправности деталей, качества производственного сырья и др.

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

## Запрос

 ```{ "instances":[ { "image": "your base64 string" } ] }```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-object-detection-3.png)

## Полезные сcылки

GitHub - [https://github.com/quanhua92/darknet](https://github.com/quanhua92/darknet)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/quanhua92/darknet/blob/master/LICENSE)

Оптимизированная модель распознавания классов объектов.

Small Object Detection model



## Особенности

Датасет включает около 10 000 сгенерированных изображений людей в медицинских масках и без. Набор данных может быть использован для совершенствования систем биометрической идентификации и аутентификации, улучшения детекторов дипфейков и других прикладных задач в области компьютерного зрения.

### **Преимущества**

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by-sa/4.0/)


Лица людей в медицинских масках и без

Face Mask Lite Dataset



## Особенности

Набор данных из почти 9 миллионов URL-адресов для изображений. Изображения снабжены аннотациями с надписями и ограничивающими рамками, а выборка охватывает тысячи классов. Набор данных содержит обучающий датасет из 9 011 219 изображений, проверочный датасет из 41 260 изображений и тестовый датасет из 125 436 изображений. Коллекция может быть использована для автоматической генерации понятных URL и других прикладных задач.

## Ccылки

Документация на [GitHub](https://github.com/openimages/dataset)

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/2.0/)

[GitHub лицензия](https://github.com/openimages/dataset/blob/main/LICENSE)



Набор данных из почти 9 миллионов URL-адресов для изображений

Open Images Dataset



## Особенности

Ниже приведен список csv-файлов, имеющихся в наборе данных, а также то, что они включают:

- tracks.csv: метаданные для каждого трека, такие как идентификатор, название, исполнитель, жанры, теги и количество воспроизведений, для всех 106 574 треков.
- genres.csv: все 163 идентификатора жанра с их именем и родителем (используется для определения иерархии жанров и жанров верхнего уровня).
- features.csv: общие функции, извлеченные с помощью librosa.
- echonest.csv: звуковые функции, предоставляемые Echonest (теперь Spotify) для подмножества из 13 129 треков.

Набор данных может быть использован для автоматической сортировки музыки по жанрам, автоматического формирования плейлистов и других задач.

## Ccылки

Документация на [GitHub](https://github.com/mdeff/fma)

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/4.0/)

[GitHub лицензия](https://github.com/mdeff/fma/blob/master/LICENSE.txt)



Датасет для анализа музыки

Free Music Archive (FMA)



## Особенности

Набор данных изображений, организованных в соответствии с иерархией WordNet. Данная иерархия описывает семантические связи между различными единицами языка. В WordNet представлено около 100 000 фраз, а датасет закрепляет в среднем около 1000 изображений для иллюстрации каждой фразы. Набор данных может быть использован для семантического анализа содержимого фотографий, генерации текста к фото и других научных или коммерческих задач.

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://image-net.org/download.php)



Набор данных изображений, организованных в соответствии с иерархией WordNet

ImageNet



## Особенности

Датасет включает в себя более 328 000 изображений повседневных объектов и людей в высоком разрешении, а также аннотаций, которые могут быть использованы для тренировки моделей распознавания объектов, их описания или создания "ярлыков". Отличительные черты коллекции:

- Сегментация объектов.
- Распознавание в контексте.
- Сегментация суперпиксельного материала.
- 330 тыс. изображений (>200 тыс. размеченных).
- 1,5 миллиона экземпляров объектов.
- 80 категорий объектов.
- 91 категория товаров.
- 5 подписей к изображению.
- 250 000 человек с детализированной разметкой (левая рука, правая нога и т.д.).

## Ccылки

Документация на [GitHub](https://github.com/cocodataset/cocodataset.github.io)

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://www.flickr.com/help/terms)



Масштабный набор данных для обнаружения и сегментации объектов

Масштабный набор данных для обнаружения и сегментации объектов, а также подписей к ним.

MS-COCO

## Возможности

Нейронная сеть для преобразования черно-белых изображений в цветные

## Пайплайн модели:

В модель включены две нейронные сети (eccv16 и siggraph17). На входе модель получает черно-белое изображение, на выход выдаются два предикта с разными вариантами колоризации. Таким образом пользователь может выбрать для себя более органичное на свой взгляд изображение.

## Сценарии использования

Колоризация черно-белых изображений

Все веса модели доступны для скачивания. Модель может быть дообучена под специфические задачи, такие как:

- современная обработка старой мультипликации и кинолент;
- повышение качества и реалистичности исторических снимков.

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.2:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.2:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

```{"instances":[{ "images": "your base64 string" }]}```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-colorization-1.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-colorization-2.png)

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-colorization-3.png)

## Полезные сcылки

[GitHub - pavelgonchar/colornet: Neural Network to colorize grayscale images](https://github.com/pavelgonchar/colornet)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/richzhang/colorization/blob/master/LICENSE)

Модель колоризации для черно-белых изображений.

Dual Colorization Model

## Возможности

Нейронная сеть для улучшения качества изображений до 4х.

## Пайплайн модели:

Модель принимает на вход изображение. На выход выдается предикт с улучшенным качеством.

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-upscaling-1.png)

## Преимущества

Одна из лучших sota upscale моделей, которые позволяют улучшать качество изображений.

## Сценарии использования

Повышение качества изображений с низким разрешением.

Все веса модели доступны для скачивания и модель может быть дообучена под специфические задачи

## Инструкции по использованию

1. Чтобы деплой был постоянно включен и ожидал запросов без задержки на инициализацию установить 1-1 pod. Если деплой больше не нужен, установить 0-1 pod, чтобы деплой перешел в режим ожидания и деньги не списывались.
2. Чтобы создать деплой модели, необходимо указать следующий базовый образ: [https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.1-tf2.3.0-pt1.6.0:0.0.28](https://cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.1-tf2.3.0-pt1.6.0:0.0.28)
3. Изображение необходимо сконвертировать в BASE64 и отправить запрос.

Конвертер: [https://codebeautify.org/image-to-base64-converter](https://codebeautify.org/image-to-base64-converter)

Пример функции для конвертирования:

 ```
def open_images_base64(img_strs):
   return np.array(Image.open(BytesIO(base64.b64decode(img_strs))).convert("RGB"))[:,:,::-1]

def create_image(img):
   buffered = BytesIO()
   img.save(buffered, format="JPEG")
   img_str = base64.b64encode(buffered.getvalue()).decode("latin1")
   return img_str
```

4. Для каждого изображения, которое необходимо распознать требуется отдельный запрос

## Обучающие примеры

## Запрос

 ```{ "instances":[ { "image": "your base64 string" } ] }```

## Пример ответа

строка base64

![Изображение](https://cdn.cloud.ru/backend/images/datahub/ai-services-upscaling-2.png)

## Полезные сcылки

GitHub - [sunwj/CAR: Content adaptive resampler for image downscaling](https://github.com/sunwj/CAR)

Сравнение возможностей модели:
[https://paperswithcode.com/paper/learned-image-downscaling-for-upscaling-using](https://paperswithcode.com/paper/learned-image-downscaling-for-upscaling-using)

## Дисклеймер

 Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

 [Лицензия на контент](https://github.com/richzhang/colorization/blob/master/LICENSE)

Модель, улучшающая качество изображений с низким разрешением.

HQ UpscaleR



## Особенности

Датасет содержит около 1000 часов английской речи. Данные были получены из аудиокниг проекта LibriVox. Он был правильно сегментирован и выровнен.

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/4.0/)



Датасет содержит около 1000 часов английской речи

LibriSpeech



## Особенности

Продолжение проекта, объединяющего концепцию структурированных изображений с естественным языком. Эта база знаний включает более 100 000 изображений (преимущественно людей в повседневных жизненных ситуациях) и миллионы помеченных атрибутов, взаимосвязей и визуальных ответов на вопросы.

- 108 077 изображений
- 5,4 миллиона описаний регионов
- 1,7 миллиона ответов на вопросы, требующих визуализации
- 3,8 миллиона экземпляров объектов
- 2,8 миллиона атрибутов объектов
- 2,3 миллиона взаимосвязей между объектами

## Дисклеймер

Начиная использовать контент, пользователь принимает условия [Пользовательского соглашения](https://cdn.cloud.ru/backend/docs/mlspace/Polzovatelskoye_soglasheniye_DataHub_AI_S_AI_Marketplace.pdf) и Лицензии контента. Ответственность за выбор и способы использования контента AI Marketplace (DataHub/AI Services) лежит на пользователе. В случае возникновения сомнений в соответствии описания контента с его фактическим содержимым и свойствами, Пользователь может обратиться в окно технической поддержки, размещенное на Платформе в модуле «Сообщить о проблеме».

Исчерпывающая информация по лицензии данного контента находится в разделе Лицензионное соглашение ниже.

## Лицензионное соглашение

[Лицензия на контент](https://creativecommons.org/licenses/by/4.0/)



Датасет включает более 100 000 изображений и миллионы помеченных атрибутов

VisualGenome

Сервис построен на базе mBERT и обучена на наборе данных WikiNEuRal для многоязычного NER. Система поддерживает 9 языков (ru, de, en, es, fr, it, nl, pl, pt)

## Возможности

Сервис позволяет выделять именованные сущности из текста. Список именованных сущностей:

1. Person (Личность)
2. Organization (Организация)
3. Location (Местоположение)
4. Miscellaneous (Остальное)
5. В Miscellaneous попадают в основном наименование ПО, сервисов, популярных объектов общего характера.


## Примеры бизнес-сценариев

1. Определение типа документа для его последующей маршрутизации в системы хранения и обработки
2. Определение условий в документе (даты, сроки, суммы, ответственность, риски, реквизиты контрагентов и т.п.)
3. Текстовый поиск документов по соответствующим сущностям
4. Сопоставление и выявление расхождений в текстах, оценка рисков
5. Проверка комплектности документов по заданным словам
6. Заполнение карточек документов

### Специфика

Любые пожелания и требования по доработке сервиса под вашу конкретную бизнес-задачу (на базе ваших данных) приветствуются.

### Пример взаимодействия

После того как вы запустили модель, получили адрес и создали API токен для запросов, можно начать делать запросы на выделение именованных сущностей.

## Форма запроса:

``` 
{ "instances": ["Текст для классификации"] }
```

## Форма ответа:

``` 
{
 "predictions": [
{ "entity_group": "<TAG>", "score": 0.9990847706794739, "word": "ИМЕНОВАННАЯ СУЩНОСТЬ", "start": 17, "end": 35 },
 ]
}
``` 

## Пример запроса на Python:

``` 
import requests

BASE_URL = "https://mlspace.aicloud.sbercloud.ru/deployments/<region>/<deploy_name>/v1/models/<deploy_name>:predict"

res = requests.post(BASE_URL,
 json=
{ "instances":[ "Жителям северных территорий Хабаровского края предоставят субсидии на развитие оленеводства, сообщили в пресс-службе правительства региона"] },
 headers=
{ "x-workspace-id": "<your_workspace_id>", "content-type":"application/json", "x-api-key":"<your_api_key>" }
)
``` 

## Подключение

Для работы с сервисом необходимо нажать кнопку Создать деплой и выбрать параметры инфраструктуры (Подробнее о [параметрах](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html), о [тарификации](https://cloud.ru/docs/aicloud/mlspace/concepts/general-info__tariffs.html#deployments)). К деплою можно отправлять запросы на [хост](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html) + <ins>для целевого использования модели. REST API сервиса использует протокол HTTP для отправки данных и ответы в формате JSON. HTTP-запросы можно исполнить из консоли с помощью инструмента командной строки</ins> [curl](https://everything.curl.dev/libcurl-http/requests) `{+}`.

Инструкция отправка HTTP-запросов к сервису доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__send-http-requests-to-service.html).

Сервис извлечения сущностей из текстов и документов

Извлечение объектов (сущностей) из текстов и документов

Entity Recognition


### Возможности

![mGPT monolingual models](https://cdn.cloud.ru/backend/images/rugpt3family/mgpt-xl-monolingual-models-banner.png)

Семейство моноязычных моделей на основе оригинальной mGPT для языков СНГ и малых народов России. Оригинальная [модель](https://cloud.ru/marketplace/products/mgpt3-xl) mGPT была представлена ранее и поддерживает 61 язык, в частности стран СНГ и малых народов России. Чтобы улучшить качество генерации на отдельных языках, на дополнительных данных были обучены 23 модели для ряда языков.

Список языков для которых представлены моноязычные модели:
*азербайджанский, армянский, башкирский, белорусский, болгарский, бурятский, грузинский, казахский, калмыцкий, киргизский, марийский, монгольский, осетинский, персидский, румынский, таджикский, татарский, туркменский, тувинский, узбекский, украинский, чувашский, якутский*.

Новые версии модели содержат 1.3 миллиарда параметров для языков стран СНГ и малых народов России. Длина контекста модели составляет 2048 токенов. Модель была обучена на открытых и очищенных данных для каждого отдельного языка, включая источники знаний (Википедия), веб-ресурсы, новости, открытые корпуса исследовательских институтов, народное творчество и художественную литературу.

### Источники данных используемые для дообучения моделей

Для большинства языков мы использовали в обучении общие открытые источники:

- [mC4](https://huggingface.co/datasets/mc4)
- [OSCAR](https://huggingface.co/oscar-corpus)
- [OpenSubtitles](https://opus.nlpl.eu/OpenSubtitles/corpus/version/OpenSubtitles)
- Wiki, Blogs, LibGen, Archive

Для части языков, мы также добавляли специальные открытые корпуса под язык.

Таблица с дополнительными источниками данных и объемами корпусов для дообучения моноязычных моделей представлены ниже:

| Lang/Source | Special corpora | Лицензия | ISO | Объем корпуса: |
| --- | --- | --- | --- | --- |
| Armenian | http://eanc.net/ | - | hy | 16G |
| Azerbaijani | https://paperswithcode.com/dataset/ted-talks | https://creativecommons.org/licenses/by-nc-nd/4.0/ | az | 18G |
| Bashkir | http://web-corpora.net/wsgi3/minorlangs/ | https://github.com/nevmenandr/bashkir-corpus/blob/master/LICENSE | ba | 953M |
| Belarusian | https://huggingface.co/datasets/ted_talks_iwslt | https://creativecommons.org/licenses/by-nc-nd/4.0/ | be | 11G |
| Bulgarian | https://huggingface.co/datasets/xnli | https://github.com/facebookresearch/XNLI/blob/master/LICENSE | bg | 112G |
| Buriat | http://web-corpora.net/wsgi3/minorlangs/download | - | bua | 13M |
| Chuvash | https://huggingface.co/datasets/alexantonov/chuvash_parallel http://web-corpora.net/wsgi3/minorlangs/download https://github.com/AlAntonov/chv_corpus | CC0  | cv | 106M |
| Georgian | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | ka | 19G |
| Kalmyk | http://web-corpora.net/wsgi3/minorlangs/download https://gitlab.com/Nomin-Ger.Ru/oyrad_corpus | MIT | xal | 18M |
| Kazakh | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | kk | 20G |
| Kirghiz | https://wortschatz.uni-leipzig.de/en/download/Kirghiz  | - | kir/ky | 5.5G |
| Mari | http://web-corpora.net/wsgi3/minorlangs/download | - | chm | 103M |
| Mongolian | https://huggingface.co/datasets/udhr | - | mn | 13G |
| Ossetian | - | - | os/oss | 40M |
| Persian | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | fa | 211G |
| Romanian | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | ro | 228G |
| Tajik | https://huggingface.co/datasets/ted_talks_iwslt https://huggingface.co/datasets/tanzil | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | tj/tg | 7.5G |
| Tatar | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | tt | 954M |
| Turkmen | - | - | tk | 44M |
| Tuvinian | http://web-corpora.net/wsgi3/minorlangs/download | - | tyv | 44M |
| Ukrainian | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | uk | 211G |
| Uzbek | https://huggingface.co/datasets/ted_talks_iwslt | https://huggingface.co/datasets?license=license%3Acc-by-nc-nd-4.0 | uz | 3.2G |
| Yakut | http://web-corpora.net/wsgi3/minorlangs/download | - | sah | 103M |


### Метрики

Замеры по языкам *loss* и *перплексии* на валидационном сете, моноязычные модели в сравнении с мультиязычной mGPT-XL.

| Языки | моноязычный mGPT | мультиязычный mGPT |
| --- | --- | --- |
| Армянский | loss: 0.55 ppl: 1.73 | loss: 1.83 ppl: 6.23 |
| Азербайджанский | loss: 1.68 ppl: 5.37 | loss: 3.86 ppl: 47.46 |
| Башкирский | loss: 1.95 ppl: 7.06 | loss: 3.56 ppl: 35.01 |
| Белорусский | loss: 3.32 ppl: 27.65 | loss: 4.14 ppl: 62.73 |
| Болгарский | loss: 2.72 ppl: 15.20 | loss: 4.45 ppl: 85.70 |
| Бурятский | loss: 2.87 ppl: 17.63 | loss: 4.19 ppl: 65.70 |
| Чувашский | loss: 3.36 ppl: 28.76 | loss: 4.79 ppl: 120.66 |
| Грузинский | loss: 2.82 ppl: 16.85 | loss: 4.05 ppl: 57.20 |
| Калмыцкий | loss: 2.64 ppl: 13.97 | loss: 4.30 ppl: 74.12 |
| Казахский | loss: 1.22 ppl: 3.38 | loss: 3.27 ppl: 26.43 |
| Киргизский | loss: 2.10 ppl: 8.20 | loss: 4.23 ppl: 68.44 |
| Марийский | loss: 3.05 ppl: 21.19 | loss: 5.26 ppl: 193.193 |
| Монгольский | loss: 1.47 ppl: 4.35 | loss: 3.32 ppl: 27.69 |
| Осетинский | loss: 2.93 ppl: 18.70 | loss: 4.36 ppl: 78.17 |
| Персидский | loss: 3.51 ppl: 33.44 | loss: 4.45 ppl: 86.05 |
| Румынский | loss: 1.24 ppl: 3.44 | loss: 1.63 ppl: 5.08 |
| Таджикский | loss: 1.88 ppl: 6.52 | loss: 4.09 ppl: 59.88 |
| Татарский | loss: 1.31 ppl: 3.69 | loss: 3.17 ppl: 23.84 |
| Туркменский | loss: 3.35 ppl: 28.47 | loss: 5.29 ppl: 199.11 |
| Тувинский | loss: 3.71 ppl: 40.84 | loss: 5.10 ppl: 164.40 |
| Украинский | loss: 1.96 ppl: 7.11 | loss: 4.00 ppl: 54.93 |
| Узбекский | loss: 1.92 ppl: 6.84 | loss: 5.33 ppl: 206.85 |
| Якутский | loss: 2.37 ppl: 10.65 | loss: 4.31 ppl: 74.74 |

### Использование

При добавлении к себе данных появится папка с 23 моделями. 
Примеры запуска каждой отдельной модели аналогичен запуску обычной модели mGPT-XL, примеры доступны в официальном репозитории [mgpt](https://github.com/ai-forever/mgpt). 

```jsx
from transformers import GPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("monolingual_model_folder")
model = GPT2LMHeadModel.from_pretrained("monolingual_model_folder")

text = "Александр Сергеевич Пушкин родился в "
input_ids = tokenizer.encode(text, return_tensors="pt").cuda(device)
out = model.generate(
        input_ids, 
        min_length=100, 
        max_length=100, 
        eos_token_id=5, 
        pad_token=1,
        top_k=10,
        top_p=0.0,
        no_repeat_ngram_size=5
)
generated_text = list(map(tokenizer.decode, out))[0]
print(generated_text)
Александр Сергеевич Пушкин родился в  г. Санкт-Петербурге.
```

### Ccылки

- Модель [mGPT-XL](https://huggingface.co/ai-forever/mGPT) на Hugging Face и академическая [статья](https://arxiv.org/abs/2204.07580) модели
- [Статья](https://habr.com/ru/companies/sberdevices/articles/662195/) про тестирование моделей от контент-менеджера "Модель-полиглот: как мы учили GPT-3 на 61 языке мира"
- Модель [mGPT3-13B](https://cloud.ru/marketplace/products/mgpt-3-13b) доступна в виде AI Service Cloud.

## **Лицензирование**

Все модели предоставляются на основе открытой лицензии MIT. 

- Размер файлов:  456G
- Tags: lms языковые модели NLP mgpt multilingual
- Формат: папка с 23 моделей
- Версия: v1.0
- Разработчик: AGI NLP



Моноязычные модели для языков России на основе mGPT-XL

mGPT monolingual models

## Описание

Современная модель генерации текста для 61 языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165).

Модель mGPT-3 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 2048 токенов. Модель была обучена на 600Гб текстов на 61м языке собранным из очищенных и подготовленных датасетов multilingual C4 и Wiki.

Список поддерживаемых языков:

азербайджанский, английский, арабский, армянский, африкаанс, баскский, башкирский, белорусский, бенгальский, бирманский, болгарский, бурятский, венгерский язык, вьетнамский, голландский, греческий (современный), грузинский, датский, иврит (современный), индонезийский, испанский, итальянский, йоруба, казахский, калмыцкий, киргизский, китайский, корейский, латышский, литовский, малайский, малаялам, маратхи, молдавский, монгольский, немецкий, осетинский, персидский, польский, португальский, румынский, русский, суахили, таджикский, тайский, тамильский, татарский, телугу, тувинский, турецкий, туркменский, узбекский, украинский, урду, финский, французский, хинди, чувашский, шведский, якутский, японский.

### **Использование**

**Продолжение текста (Generation)**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст, дополняя его. В примерах ниже текст затравки выделен курсивом, далее идёт генерация модели:

Язык | Пример
------ | ------
Русский | В мае мы празднуем Первомай!!! Уважаемые наши студенты и жители города, придём вместе сегодня на площадь!
Английский | In May we celebrate the First Friday Special Mother’s Day (В мае мы отмечаем особенный День матери в первую пятницу.)
Хинди | मई में हम मनाते हैं साल फूल और पुरानी यादों को ताजा करते हैं। कन्या नवरात्र के अंतर्गत नारियल की पूजा का त्यौहार कन्यादान है, इसके कारण नारियल को राजाओं की पूजा के तौर पर भी माना गया है (В мае мы встречаем год цветами и переживаем старые воспоминания. Фестиваль поклонения кокосу под Канья Наваратри называется Каньядан, из-за которого кокос также считается объектом поклонения королей.)
Китайский | 五月我们庆祝五 一儿童节活动 (В мае мы отмечаем День защиты детей)
Армянский | Մայիսին մենք նշում ենք Արարատի մարզի հայ գրողների և մանկավարժների օր (В мае мы отмечаем день армянских писателей и педагогов Араратской области.)

**Возможные примеры работы с затравками**

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и их корректных продолжений, затем целевая затравка.

**Совет**: чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`, `<|endoftext|>`, `<s>`, `</s>`, вы можете использовать для форматирования своих примеров.

**Совет**: рассчитывайте количество примеров в few-shot таким образом, чтобы не выйти за максимальную длину последовательности в 2048 токенов.

## Пример запуска генерации

```
import requests
from tqdm import tqdm
deploy_endpoint = "http://localhost:8080/v1/models/kfserving-default:predict"
texts = [
 "Александр Сергеевич Пушкин родился в",
 "Alexander Sergeevich Pushkin was born in",
 "Олександр Сергійович Пушкін народився в",
 "Аляксандр Сяргеевіч Пушкін нарадзіўся ў",
 "Александр Сергеевич Пушкин шәһәрендә туган",
 "Александр Сергеевич Пушкин дүниеге келген",
 "亚历山大*谢尔盖耶维奇*普希金出生于",
 "알렉산더 세르게 비치 푸쉬킨은",
 "Alexander Sergeevich Pushkinはで生まれました",
 "Александр Сергеевич Пушкин ҫуралнӑ",
 "Александр Сергеевич Пушкин төрөөбүтэ",
 "Alexander Puschkin wurde in",
 "Alexandre Sergueïevitch Pouchkine est né le à",
]
for txt in texts:
 r = requests.post(deploy_endpoint,
 json={"instances": [{
 "text": txt,
# "max_tokens": 100,
# "top_p": 0.9,
# "top_k": 10,
# "seed": 1234
 }]})
 print(r.json()["predictions"])
```

## Дисклеймер

При использовании модели mGPT-3 13B ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного сервиса.

Multilingual Generative Pretrained Transformer, 13 млрд параметров

mGPT-3 13B

## Описание

Современная модель генерации текста для 61 языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165).

Модель mGPT-3 XL содержит 1.3 миллиарда параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 2048 токенов. Модель была обучена на 600Гб текстов на 61м языке собранным из очищенных и подготовленных датасетов multilingual C4 и Wiki.

Список поддерживаемых языков:

азербайджанский, английский, арабский, армянский, африкаанс, баскский, башкирский, белорусский, бенгальский, бирманский, болгарский, бурятский, венгерский язык, вьетнамский, голландский, греческий (современный), грузинский, датский, иврит (современный), индонезийский, испанский, итальянский, йоруба, казахский, калмыцкий, киргизский, китайский, корейский, латышский, литовский, малайский, малаялам, маратхи, молдавский, монгольский, немецкий, осетинский, персидский, польский, португальский, румынский, русский, суахили, таджикский, тайский, тамильский, татарский, телугу, тувинский, турецкий, туркменский, узбекский, украинский, урду, финский, французский, хинди, чувашский, шведский, якутский, японский.

### **Использование**

**Продолжение текста (Generation)**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст, дополняя его. В примерах ниже текст затравки выделен курсивом, далее идёт генерация модели:

Язык | Пример
------ | ------
Русский | В мае мы празднуем Первомай!!! Уважаемые наши студенты и жители города, придём вместе сегодня на площадь!
Английский | In May we celebrate the First Friday Special Mother’s Day (В мае мы отмечаем особенный День матери в первую пятницу.)
Хинди | मई में हम मनाते हैं साल फूल और पुरानी यादों को ताजा करते हैं। कन्या नवरात्र के अंतर्गत नारियल की पूजा का त्यौहार कन्यादान है, इसके कारण नारियल को राजाओं की पूजा के तौर पर भी माना गया है (В мае мы встречаем год цветами и переживаем старые воспоминания. Фестиваль поклонения кокосу под Канья Наваратри называется Каньядан, из-за которого кокос также считается объектом поклонения королей.)
Китайский | 五月我们庆祝五 一儿童节活动 (В мае мы отмечаем День защиты детей)
Армянский | Մայիսին մենք նշում ենք Արարատի մարզի հայ գրողների և մանկավարժների օր (В мае мы отмечаем день армянских писателей и педагогов Араратской области.)

**Возможные примеры работы с затравками**

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и их корректных продолжений, затем целевая затравка.

**Совет**: чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`, `<|endoftext|>`, `<s>`, `</s>`, вы можете использовать для форматирования своих примеров.

**Совет**: рассчитывайте количество примеров в few-shot таким образом, чтобы не выйти за максимальную длину последовательности в 2048 токенов.

## Пример запуска генерации

```
import requests
from tqdm import tqdm
deploy_endpoint = "http://localhost:8080/v1/models/kfserving-default:predict"
texts = [
 "Александр Сергеевич Пушкин родился в",
 "Alexander Sergeevich Pushkin was born in",
 "Олександр Сергійович Пушкін народився в",
 "Аляксандр Сяргеевіч Пушкін нарадзіўся ў",
 "Александр Сергеевич Пушкин шәһәрендә туган",
 "Александр Сергеевич Пушкин дүниеге келген",
 "亚历山大*谢尔盖耶维奇*普希金出生于",
 "알렉산더 세르게 비치 푸쉬킨은",
 "Alexander Sergeevich Pushkinはで生まれました",
 "Александр Сергеевич Пушкин ҫуралнӑ",
 "Александр Сергеевич Пушкин төрөөбүтэ",
 "Alexander Puschkin wurde in",
 "Alexandre Sergueïevitch Pouchkine est né le à",
]
for txt in texts:
 r = requests.post(deploy_endpoint,
 json={"instances": [{
 "text": txt,
# "max_tokens": 100,
# "top_p": 0.9,
# "top_k": 10,
# "seed": 1234
 }]})
 print(r.json()["predictions"])
```

## Дисклеймер

При использовании модели mGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного сервиса.

Multilingual Generative Pretrained Transformer, 1.3 млрд параметров

mGPT-3 XL

ruCLIP (Russian Contrastive Language – Image Pre-training) обучена для русского языка на открытых данных, собранных из Рунета. 
 240 миллионов уникальных пар картинка-текст в обучающей выборке.

**Информация об использовании модели:**

Эксклюзивная версия модели ruCLIP, доступная только на платформе Cloud.ru. Модель отличает сочетание меньшего размера патча - 16 и б*о*льшего размера входных изображений - 384. Данное сочетание привело к наиболее высоким качественным результатам оценки модели - на 6 из 18 датасетах (zero-shot задача), на 10 из 16 датасетах (few-shot задача).

ruCLIP — это модель, состоящая из двух частей (или нейронных сетей):

1. Image Encoder — часть для кодирования изображений и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе берутся ResNet разных размеров и [Visual Transformer](https://en.wikipedia.org/wiki/Vision_transformer) — тоже разных размеров. В ruCLIP Base в качестве image encoder используется ViT-B/16.
2. Text Encoder — часть для кодирования текстов и перевода их в общее векторное пространство. В качестве архитектуры используется текстовый [Transformer](https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80_(%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F)).

## Similarity

![ruclip0](https://cdn.cloud.ru/backend/marketplace/ai/ruclip0.png)

**[\{"собачка": 0.8755289316177368}, \{"кошка": 0.10738641768693924}, \{"мышка": 0.006668750662356615}, \{"машина": 0.007433525752276182}, \{"стол": 0.00010645926522556692}, \{"дом": 0.0010766646591946483}, \{"жидкость": 0.0017993147484958172}]**

## KFServing

Класс `KFServingRuClipModel` представлен ниже.

Вы можете подавать на вход модели:

- ссылки на изображения
- картинки в формате base64

На выходе модель покажет близость между текстами и картинками. Чем ближе значение к 1, тем ближе семантическое сходство картинки и текста.

```python
import os
import json
from collections import OrderedDict
from typing import Dict
import kfserving
import requests
import torch
import numpy as np
import io
from io import BytesIO
import base64
from PIL import Image
import re

from ruclip import CLIP, RuCLIPProcessor

def open_images_base64(img_strs):
    return [Image.open(BytesIO(base64.b64decode(img_str))) for img_str in img_strs]

def open_image_link(links):
    imgs = []
    for img_link in links:
        response = requests.get(img_link)
        imgs.append(Image.open(BytesIO(response.content)))
    return imgs
def create_image(sim_plt):
    my_stringIObytes = io.BytesIO()
    sim_plt.savefig(my_stringIObytes, format="jpg")
    my_stringIObytes.seek(0)
    my_base64 = base64.b64encode(my_stringIObytes.read())
    return my_base64
class KFServingRuClipModel(kfserving.KFModel):
    def __init__(self, title: str, model_path="./ruclip-vit-base-patch16-384"):
        super().__init__(name)
        self.name = name
        self.ready = False
        self.model_path = model_path
    def load(self):
        self.device = "cuda"
        self.clip = CLIP.from_pretrained(self.model_path).eval().to(self.device)
        self.clip_processor = RuCLIPProcessor.from_pretrained(self.model_path)
        self.ready = True
        
    def get_text_latents(self, texts):
        with torch.no_grad():
            inputs = self.clip_processor(text=texts, images=None)
            text_latents = self.clip.encode_text(
                input_ids=inputs["input_ids"].to(self.device), 
            )
            text_latents = text_latents / text_latents.norm(dim=-1, keepdim=True)
        return text_latents
        
    def get_logits(self, text_latents, pil_images):
        with torch.no_grad():
            inputs = self.clip_processor(text=None, images=pil_images)
            image_latents = self.clip.encode_image(
                pixel_values=inputs["pixel_values"].to(self.device)
            )
            image_latents = image_latents / image_latents.norm(dim=-1, keepdim=True)
            logits_per_text = torch.matmul(text_latents, image_latents.t())
            logits_per_image = logits_per_text.t()
        return logits_per_text, logits_per_image
    
    def get_similarity_scores(self, texts, images):
        """
        Find the most similar image to text.
        `texts`: array of texts or one text ["some_desc"]
        `images`: array of images.
        """
        text_latents = self.get_text_latents(texts)
        results = []
        for pil_image in images:
            _, logits_per_image = self.get_logits(text_latents, [pil_image])
            probs_raw = (logits_per_image * self.clip.logit_scale.exp().detach()).softmax(dim=-1)[0]
            label_id = probs_raw.argmax().item()
            confidence = probs_raw.max().item()
            
            probs = []
            for i in range(len(texts)):
                probs.append({texts[i]: probs_raw[i].item()})
            buffered = BytesIO()
            pil_image.save(buffered, format="JPEG")
            img = base64.b64encode(buffered.getvalue()).decode("utf-8")
            results.append({"image": img, "text": texts[label_id], "confidence" : confidence, "all_res": probs})
        
        return results
    
    def predict(self, request: Dict) -> Dict:
        texts = request["instances"][0]["texts"]
        
        img_strs = request["instances"][0].get("images", None)
        if img_strs is not None:
            images = open_images_base64(img_strs)
        
        images_links = request["instances"][0].get("image_links", None)
        if images_links is not None:
            images = open_image_link(images_links)
          
        error_msg = None
        predictions = []
        try:
            predictions = self.get_similarity_scores(texts, images)
        except Exception as ex:
            print(ex)
            error_msg = ex
        if error_msg is not None:
            return {"predictions": predictions, "error_message": str(error_msg)}
        else:
            return {"predictions": predictions}
```

Функция predict возвращает массив со словарями для каждой картинки вида:

```
     predictions: [
				{
					"image": "base64 image", 
					"text": "наиболее подходящий текст для картинки" ,
          "confidence": "мера близости для лучшей картинки", 
          "all_res": [{"менее вероятный текст": 0.31}, {"другой текст": 0.33},} ...]
				}
     ]
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ru_CLIP import KFServingRuClipModel

model = KFServingRuClipModel("kfserving-clip")
model.load()

# zero-shot and links
url_cat = "https://cs11.livemaster.ru/storage/topic/NxN/2c/9b/9cf0a41d13ecb11439e6145dff576315df83op.jpg?h=3KvOPndE06tlraLLSmkHPQ"
url_cat2 = "https://pbs.twimg.com/profile_images/560798448962633728/rDEdUfV_.jpeg"
url_dog = "https://ichef.bbci.co.uk/news/640/cpsprodpb/475B/production/_98776281_gettyimages-521697453.jpg"
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка", "машина", "стол", "дом", "жидкость"],
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result

`{"predictions": "[{"image": b"/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ...", "text": "собачка", "confidence": 0.8755289316177368, "all_res": [{"собачка": 0.8755289316177368}, {"кошка": 0.10738641768693924}, {"мышка": 0.006668750662356615}, {"машина": 0.007433525752276182}, {"стол": 0.00010645926522556692}, {"дом": 0.0010766646591946483}, {"жидкость": 0.0017993147484958172}]}, ... ]", "error_message": None}`
```

## **Оценки модели на популярных датасетах**

Косинусная близость между текстами и картинками для модели ruCLIP

![ruclip3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip3.png)

Предсказания топ 5 классов для изображений с помощью ruCLIP

![ruclip4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip4.png)

Сравнение моделей на задаче zero-shot классификации для разных датасетов. Жирным выделена лучшая метрика для каждого из датасетов без учета оригинального CLIP без переводчика.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Base [vit-base-patch16-384] exclusive | CLIP [vit-base-patch16-224] original + MT | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- | --- |
| Food101 | 0.138 | 0.689 | 0.663 | 0.883 |
| CIFAR10 | 0.808 | 0.845 | 0.859 | 0.893 |
| CIFAR100 | 0.440 | 0.569 | 0.603 | 0.647 |
| Birdsnap | 0.036 | 0.195 | 0.126 | 0.396 |
| SUN397 | 0.258 | 0.521 | 0.447 | 0.631 |
| Stanford Cars | 0.023 | 0.626 | 0.567 | 0.637 |
| DTD | 0.169 | 0.421 | 0.243 | 0.432 |
| MNIST | 0.137 | 0.478 | 0.559 | 0.559 |
| STL10 | 0.910 | 0.964 | 0.966 | 0.970 |
| PCam | 0.484 | 0.501 | 0.603 | 0.573 |
| CLEVR | 0.104 | 0.132 | 0.240 | 0.240 |
| Rendered SST2 | 0.483 | 0.525 | 0.484 | 0.484 |
| FGVC Aircraft | 0.020 | 0.046 | 0.220 | 0.244 |
| Oxford Pets | 0.462 | 0.635 | 0.507 | 0.874 |
| Caltech101 | 0.590 | 0.835 | 0.791 | 0.883 |
| HatefulMemes | 0.527 | 0.543 | 0.579 | 0.589 |
| ImageNet | 0.538 | 0.482 | 0.392 | 0.638 |
| Flowers102 | 0.063 | 0.452 | 0.357 | 0.697 |

Звездочками показана средняя zero-shot оценка моделей на 16 датасетах. Также, как и в статье, на признаках, которые достает CLIP для изображений были обучены логистические регрессии с использованием 1-2-4-8-16 изображений для каждого класса. Поскольку признаки, которые извлекаются у openai и openai_mt одинаковые — для openai_mt нет отдельного графика few-shot классификации. Также мы посчитали усредненный few-shot график для модели ruCLIP Base exclusive без учета трех датасетов - PCam, Oxford Pets и FGVC Aircraft, на которых модель проигрывает достаточно сильно и можно видеть (пунктирная линия), что среднее качество практически совпадает с ruCLIP Small.

![ruclip_base_ex_1](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_ex_1.png)

То же самое, но отдельно по каждому датасету.

![ruclip_base_ex_2](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_ex_2.png)

Сравнение linear-prob метрики для трех моделей на разных датасетах.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Base [vit-base-patch16-384] exclusive | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- |
| Food101 | 0.874 | 0.890 | 0.901 |
| CIFAR10 | 0.948 | 0.942 | 0.953 |
| CIFAR100 | 0.794 | 0.773 | 0.808 |
| Birdsnap | 0.584 | 0.612 | 0.664 |
| SUN397 | 0.753 | 0.758 | 0.777 |
| Stanford Cars | 0.806 | 0.840 | 0.866 |
| DTD | 0.738 | 0.749 | 0.770 |
| MNIST | 0.985 | 0.971 | 0.989 |
| STL10 | 0.977 | 0.974 | 0.982 |
| PCam | 0.833 | 0.846 | 0.830 |
| CLEVR | 0.524 | 0.378 | 0.604 |
| Rendered SST2 | 0.568 | 0.661 | 0.606 |
| FGVC Aircraft | 0.500 | 0.362 | 0.604 |
| Oxford Pets | 0.895 | 0.856 | 0.931 |
| Caltech101 | 0.937 | 0.932 | 0.956 |
| HatefulMemes | 0.638 | 0.579 | 0.645 |

Здесь указаны графики корреляции zero-shot и linear-prob результатов для разных моделей.

**ruCLIP Base [vit-base-patch16-384] exclusive**

![ruclip_base_ex_3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_ex_3.png)

**ruCLIP Small [rugpt3-small]**

![ruclip_base_4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_4.png)

**CLIP [vit-base-patch16-224] original + MT**

![ruclip_base_5](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_5.png)

**CLIP [vit-base-patch16-224] original**

![ruclip_base_6](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_6.png)

Сравнение разных моделей на ImageNet датасетах

|  | resnet101 | CLIP [vit-base-patch16-224] original | CLIP [vit-base-patch16-224] original + MT | ruCLIP Base [vit-base-patch16-384] exclusive | ruCLIP Small [rugpt3-small] |
| --- | --- | --- | --- | --- | --- |
| ImageNet | 0.739 | 0.638 | 0.392 | 0.482 | 0.538 |
| ImageNetV2 | 0.618 | 0.582 | 0.353 | 0.427 | 0.458 |
| ImageNet-R | 0.272 | 0.490 | 0.353 | 0.514 | 0.241 |
| ImageNet-A | 0.022 | 0.265 | 0.157 | 0.179 | 0.080 |
| ImageNet-Sketch | 0.265 | 0.448 | 0.291 | 0.395 | 0.251 |

Zero-shot классификация для разных датасетов на моделях ruCLIP.

|  | ruCLIP Base [vit-base-patch16-384] exclusive | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-336] exclusive |
| --- | --- | --- | --- | --- |
| Food101, acc | 0.689 | 0.597 | 0.642 | 0.712 💥 |
| CIFAR10, acc | 0.845 | 0.878 | 0.862 | 0.906 💥 |
| CIFAR100, acc | 0.569 | 0.511 | 0.529 | 0.591 💥 |
| Birdsnap, acc | 0.195 | 0.172 | 0.161 | 0.213 💥 |
| SUN397, acc | 0.521 | 0.484 | 0.510 | 0.523 💥 |
| Stanford Cars, acc | 0.626 | 0.559 | 0.572 | 0.659 💥 |
| DTD, acc | 0.421 💥 | 0.370 | 0.390 | 0.408 |
| MNIST, acc | 0.478 💥 | 0.337 | 0.404 | 0.242 |
| STL10, acc | 0.964 💥 | 0.934 | 0.946 | 0.956 |
| PCam, acc | 0.501 | 0.520 | 0.506 | 0.554 💥 |
| CLEVR, acc | 0.132 | 0.152 | 0.188 💥 | 0.142 |
| Rendered SST2, acc | 0.525 | 0.529 | 0.508 | 0.539 💥 |
| ImageNet, acc | 0.482 | 0.426 | 0.451 | 0.488 💥 |
| FGVC Aircraft, mean-per-class | 0.046 | 0.046 | 0.053 | 0.075 💥 |
| Oxford Pets, mean-per-class | 0.635 💥 | 0.604 | 0.587 | 0.546 |
| Caltech101, mean-per-class | 0.835 💥 | 0.777 | 0.834 | 0.835 💥 |
| Flowers102, mean-per-class | 0.452 | 0.455 | 0.449 | 0.517 💥 |
| Hateful Memes, roc-auc | 0.543💥 | 0.530 | 0.537 | 0.519 |

Few-shot классификация для разных датасетов на моделях ruCLIP.

| Dataset | ruCLIP Base [vit-base-patch16-384] exclusive | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-336] exclusive |
| --- | --- | --- | --- | --- |
| Food101 | 0.890 | 0.840 | 0.851 | 0.896 💥 |
| CIFAR10 | 0.942 | 0.927 | 0.934 | 0.943 💥 |
| CIFAR100 | 0.773 💥 | 0.734 | 0.745 | 0.770 |
| Birdsnap | 0.612 💥 | 0.567 | 0.434 | 0.609 |
| SUN397 | 0.758 | 0.731 | 0.721 | 0.759 💥 |
| Stanford Cars | 0.840 💥 | 0.797 | 0.766 | 0.831 |
| DTD | 0.749 💥 | 0.711 | 0.703 | 0.731 |
| MNIST | 0.971 💥 | 0.949 | 0.965 | 0.949 |
| STL10 | 0.974 | 0.973 | 0.968 | 0.981 💥 |
| PCam | 0.846 💥 | 0.791 | 0.835 | 0.807 |
| CLEVR | 0.378 💥 | 0.358 | 0.308 | 0.318 |
| Rendered SST2 | 0.661 💥 | 0.651 | 0.651 | 0.637 |
| FGVC Aircraft | 0.362 💥 | 0.290 | 0.283 | 0.341 |
| Oxford Pets | 0.856 💥 | 0.819 | 0.730 | 0.753 |
| Caltech101 | 0.932 | 0.914 | 0.922 | 0.937 💥 |
| HatefulMemes | 0.578 | 0.563 | 0.581 | 0.585 💥 |

## Полезные ссылки

- [Cтатья о линейке моделей на habr](https://habr.com/ru/company/sberbank/blog/646447/)
 - [Github](https://github.com/sberbank-ai/ru-clip)

Модель-ранжировщик текстов и изображений, 150 млн параметров

Russian Contrastive Language–Image Pre-training. 
Модель-ранжировщик текстов и изображений, 150 млн параметров. 
ruCLIP - это мультимодальная модель для ранжирования изображений и подписей к ним, а также получения семантической близости изображений и текстов. Архитектура впервые представлена [OpenAI](https://openai.com/blog/clip/).

ruCLIP Base [vit-base-patch16-384] exclusive

ruCLIP (Russian Contrastive Language – Image Pre-training) обучена для русского языка на открытых данных, собранных из Рунета. 

240 миллионов уникальных пар картинка-текст в обучающей выборке.

**Информация об использовании модели:**

ruCLIP — это модель, состоящая из двух частей (или нейронных сетей):

1. Image Encoder — часть для кодирования изображений и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе берутся ResNet разных размеров и [Visual Transformer](https://en.wikipedia.org/wiki/Vision_transformer) — тоже разных размеров. В ruCLIP Base в качестве image encoder используется ViT-B/32.
2. Text Encoder — часть для кодирования текстов и перевода их в общее векторное пространство. В качестве архитектуры используется текстовый [Transformer](https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80_(%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F)).

## Similarity

![ruclip0](https://cdn.cloud.ru/backend/marketplace/ai/ruclip0.png)

**[\{"собачка": 0.9324831366539001}, \{"кошка": 0.02790665067732334}, \{"мышка": 0.029953204095363617}, \{"машина": 0.0034359991550445557}, \{"стол": 0.0031091528944671154}, \{"дом": 0.0018060706788673997}, \{"жидкость": 0.0013057001633569598}]**

## KFServing

Класс `KFServingRuClipModel` представлен ниже.

Вы можете подавать на вход модели:

- ссылки на изображения
- картинки в формате base64

На выходе модель покажет близость между текстами и картинками. Чем ближе значение к 1, тем ближе семантическое сходство картинки и текста.

```python
import os
import json
from collections import OrderedDict
from typing import Dict
import kfserving
import requests
import torch
import numpy as np
import io
from io import BytesIO
import base64
from PIL import Image
import re

from ruclip import CLIP, RuCLIPProcessor

def open_images_base64(img_strs):
    return [Image.open(BytesIO(base64.b64decode(img_str))) for img_str in img_strs]

def open_image_link(links):
    imgs = []
    for img_link in links:
        response = requests.get(img_link)
        imgs.append(Image.open(BytesIO(response.content)))
    return imgs

def create_image(sim_plt):
    my_stringIObytes = io.BytesIO()
    sim_plt.savefig(my_stringIObytes, format="jpg")
    my_stringIObytes.seek(0)
    my_base64 = base64.b64encode(my_stringIObytes.read())
    return my_base64

class KFServingRuClipModel(kfserving.KFModel):
    def __init__(self, title: str, model_path="./ruclip-vit-base-patch32-384"):
        super().__init__(name)
        self.name = name
        self.ready = False
        self.model_path = model_path

    def load(self):
        self.device = "cuda"
        self.clip = CLIP.from_pretrained(self.model_path).eval().to(self.device)
        self.clip_processor = RuCLIPProcessor.from_pretrained(self.model_path)
        self.ready = True
        
    def get_text_latents(self, texts):
        with torch.no_grad():
            inputs = self.clip_processor(text=texts, images=None)
            text_latents = self.clip.encode_text(
                input_ids=inputs["input_ids"].to(self.device), 
            )
            text_latents = text_latents / text_latents.norm(dim=-1, keepdim=True)
        return text_latents
        
    def get_logits(self, text_latents, pil_images):
        with torch.no_grad():
            inputs = self.clip_processor(text=None, images=pil_images)
            image_latents = self.clip.encode_image(
                pixel_values=inputs["pixel_values"].to(self.device)
            )
            image_latents = image_latents / image_latents.norm(dim=-1, keepdim=True)
            logits_per_text = torch.matmul(text_latents, image_latents.t())
            logits_per_image = logits_per_text.t()
        return logits_per_text, logits_per_image
    
    def get_similarity_scores(self, texts, images):
        """
        Find the most similar image to text.
        `texts`: array of texts or one text ["some_desc"]
        `images`: array of images.
        """
        text_latents = self.get_text_latents(texts)
        results = []
        for pil_image in images:
            _, logits_per_image = self.get_logits(text_latents, [pil_image])
            probs_raw = (logits_per_image * self.clip.logit_scale.exp().detach()).softmax(dim=-1)[0]
            label_id = probs_raw.argmax().item()
            confidence = probs_raw.max().item()
            
            probs = []
            for i in range(len(texts)):
                probs.append({texts[i]: probs_raw[i].item()})

            buffered = BytesIO()
            pil_image.save(buffered, format="JPEG")
            img = base64.b64encode(buffered.getvalue()).decode("utf-8")
            results.append({"image": img, "text": texts[label_id], "confidence" : confidence, "all_res": probs})
        
        return results
    
    def predict(self, request: Dict) -> Dict:
        texts = request["instances"][0]["texts"]
        
        img_strs = request["instances"][0].get("images", None)
        if img_strs is not None:
            images = open_images_base64(img_strs)
        
        images_links = request["instances"][0].get("image_links", None)

        if images_links is not None:
            images = open_image_link(images_links)
          
        error_msg = None
        predictions = []
        try:
            predictions = self.get_similarity_scores(texts, images)
        except Exception as ex:
            print(ex)
            error_msg = ex

        if error_msg is not None:
            return {"predictions": predictions, "error_message": str(error_msg)}
        else:
            return {"predictions": predictions}
```

Функция predict возвращает массив со словарями для каждой картинки вида:

```
     predictions: [
				{
					"image": "base64 image", 
					"text": "наиболее подходящий текст для картинки" ,
          "confidence": "мера близости для лучшей картинки", 
          "all_res": [{"менее вероятный текст": 0.31}, {"другой текст": 0.33},} ...]
				}
     ]
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ru_CLIP import KFServingRuClipModel

model = KFServingRuClipModel("kfserving-clip")
model.load()

# zero-shot and links
url_cat = "https://cs11.livemaster.ru/storage/topic/NxN/2c/9b/9cf0a41d13ecb11439e6145dff576315df83op.jpg?h=3KvOPndE06tlraLLSmkHPQ"
url_cat2 = "https://pbs.twimg.com/profile_images/560798448962633728/rDEdUfV_.jpeg"
url_dog = "https://ichef.bbci.co.uk/news/640/cpsprodpb/475B/production/_98776281_gettyimages-521697453.jpg"
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка", "машина", "стол", "дом", "жидкость"],
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result

`{"predictions": "[{"image": b"/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ...", "text": "собачка", "confidence": 0.9324831366539001, "all_res": [{"собачка": 0.9324831366539001}, {"кошка": 0.02790665067732334}, {"мышка": 0.029953204095363617}, {"машина": 0.0034359991550445557}, {"стол": 0.0031091528944671154}, {"дом": 0.0018060706788673997}, {"жидкость": 0.0013057001633569598}]}, ... ]", "error_message": None}`
```

## Оценки модели на популярных датасетах

Косинусная близость между текстами и картинками для модели ruCLIP

![ruclip3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip3.png)

Предсказания топ 5 классов для изображений с помощью ruCLIP

![ruclip4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip4.png)

Сравнение моделей на задаче zero-shot классификации для разных датасетов. Жирным выделена лучшая метрика для каждого из датасетов без учета оригинального CLIP без переводчика.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Base [vit-base-patch32-384] | CLIP [vit-base-patch16-224] original + MT | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- | --- |
| Food101 | 0.138 | 0.642 | 0.663 | 0.883 |
| CIFAR10 | 0.808 | 0.862 | 0.859 | 0.893 |
| CIFAR100 | 0.440 | 0.529 | 0.603 | 0.647 |
| Birdsnap | 0.0360 | 0.161 | 0.126 | 0.396 |
| SUN397 | 0.258 | 0.510 | 0.447 | 0.631 |
| Stanford Cars | 0.023 | 0.572 | 0.567 | 0.637 |
| DTD | 0.169 | 0.390 | 0.243 | 0.432 |
| MNIST | 0.137 | 0.404 | 0.559 | 0.559 |
| STL10 | 0.910 | 0.946 | 0.967 | 0.970 |
| PCam | 0.484 | 0.506 | 0.603 | 0.573 |
| CLEVR | 0.104 | 0.188 | 0.240 | 0.240 |
| Rendered SST2 | 0.483 | 0.508 | 0.484 | 0.484 |
| FGVC Aircraft | 0.020 | 0.053 | 0.220 | 0.244 |
| Oxford Pets | 0.462 | 0.587 | 0.507 | 0.874 |
| Caltech101 | 0.59 | 0.834 | 0.791 | 0.883 |
| HatefulMemes | 0.527 | 0.537 | 0.579 | 0.589 |
| ImageNet | 0.538 | 0.451 | 0.392 | 0.638 |
| Flowers102 | 0.063 | 0.449 | 0.357 | 0.697 |

Звездочками показана средняя zero-shot оценка моделей на 16 датасетах. Также, как и в статье, на признаках, которые достает CLIP для изображений были обучены логистические регрессии с использованием 1-2-4-8-16 изображений для каждого класса. Поскольку признаки, которые извлекаются у openai и openai_mt одинаковые — для openai_mt нет отдельного графика few-shot классификации. Также мы посчитали усредненный few-shot график для модели ruCLIP Base без учета трех датасетов - PCam, Oxford Pets и FGVC Aircraft, на которых модель проигрывает заметнее остальных можно видеть (пунктирная линия), что среднее качество становится лучше в сравнении с ruCLIP Small.

![ruclip_base_1](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_1.png)

То же самое, но отдельно по каждому датасету.

![ruclip_base_2](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_2.png)

Сравнение linear-prob метрики для трех моделей на разных датасетах.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Base [vit-base-patch32-384] | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- |
| Food101 | 0.874 | 0.851 | 0.901 |
| CIFAR10 | 0.948 | 0.934 | 0.953 |
| CIFAR100 | 0.794 | 0.745 | 0.808 |
| Birdsnap | 0.584 | 0.434 | 0.664 |
| SUN397 | 0.753 | 0.721 | 0.777 |
| Stanford Cars | 0.806 | 0.766 | 0.866 |
| DTD | 0.738 | 0.703 | 0.770 |
| MNIST | 0.985 | 0.965 | 0.989 |
| STL10 | 0.977 | 0.968 | 0.982 |
| PCam | 0.833 | 0.835 | 0.830 |
| CLEVR | 0.524 | 0.308 | 0.604 |
| Rendered SST2 | 0.568 | 0.651 | 0.606 |
| FGVC Aircraft | 0.500 | 0.283 | 0.604 |
| Oxford Pets | 0.895 | 0.730 | 0.931 |
| Caltech101 | 0.937 | 0.922 | 0.956 |
| HatefulMemes | 0.638 | 0.581 | 0.645 |

Здесь указаны графики корреляции zero-shot и linear-prob результатов для разных моделей.

**ruCLIP Base [vit-base-patch32-384]**

![ruclip_base_3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_3.png)

**ruCLIP Small [rugpt3-small]**

![ruclip_base_4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_4.png)

**CLIP [vit-base-patch16-224] original + MT**

![ruclip_base_5](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_5.png)

**CLIP [vit-base-patch16-224] original**

![ruclip_base_6](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_6.png)

Сравнение разных моделей на ImageNet датасетах

|  | resnet101 | CLIP [vit-base-patch16-224] original | CLIP [vit-base-patch16-224] original + MT | ruCLIP Base [vit-base-patch32-384] | ruCLIP Small [rugpt3-small] |
| --- | --- | --- | --- | --- | --- |
| ImageNet | 0.739 | 0.638 | 0.392 | 0.451 | 0.538 |
| ImageNetV2 | 0.618 | 0.582 | 0.353 | 0.389 | 0.458 |
| ImageNet-R | 0.272 | 0.490 | 0.353 | 0.473 | 0.241 |
| ImageNet-A | 0.022 | 0.265 | 0.157 | 0.114 | 0.080 |
| ImageNet-Sketch | 0.265 | 0.448 | 0.291 | 0.374 | 0.251 |

Zero-shot классификация для разных датасетов на моделях ruCLIP.

|  | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-224] | ruCLIP Large [vit-large-patch14-336] exclusive | ruCLIP Base [vit-base-patch16-384] exclusive |
| --- | --- | --- | --- | --- |
| Food101, acc | 0.642 | 0.597 | 0.712 💥 | 0.689 |
| CIFAR10, acc | 0.862 | 0.878 | 0.906 💥 | 0.845 |
| CIFAR100, acc | 0.529 | 0.511 | 0.591 💥 | 0.569 |
| Birdsnap, acc | 0.161 | 0.172 | 0.213 💥 | 0.195 |
| SUN397, acc | 0.510 | 0.484 | 0.523 💥 | 0.521 |
| Stanford Cars, acc | 0.572 | 0.559 | 0.659 💥 | 0.626 |
| DTD, acc | 0.390 | 0.370 | 0.408 | 0.421 💥 |
| MNIST, acc | 0.404 | 0.337 | 0.242 | 0.478 💥 |
| STL10, acc | 0.946 | 0.934 | 0.956 | 0.964 💥 |
| PCam, acc | 0.506 | 0.520 | 0.554 💥 | 0.501 |
| CLEVR, acc | 0.188 💥 | 0.152 | 0.142 | 0.132 |
| Rendered SST2, acc | 0.508 | 0.529 | 0.539 💥 | 0.525 |
| ImageNet, acc | 0.451 | 0.426 | 0.488 💥 | 0.482 |
| FGVC Aircraft, mean-per-class | 0.053 | 0.046 | 0.075 💥 | 0.046 |
| Oxford Pets, mean-per-class | 0.587 | 0.604 | 0.546 | 0.635 💥 |
| Caltech101, mean-per-class | 0.834 | 0.777 | 0.835 💥 | 0.835 💥 |
| Flowers102, mean-per-class | 0.449 | 0.455 | 0.517 💥 | 0.452 |
| Hateful Memes, roc-auc | 0.537 | 0.530 | 0.519 | 0.543💥 |

Few-shot классификация для разных датасетов на моделях ruCLIP.

|  | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-224] | ruCLIP Large [vit-large-patch14-336] exclusive  | ruCLIP Base [vit-base-patch16-384] exclusive  |
| --- | --- | --- | --- | --- |
| Food101 | 0.851 | 0.840 | 0.896 💥 | 0.890 |
| CIFAR10 | 0.934 | 0.927 | 0.943 💥 | 0.942 |
| CIFAR100 | 0.745 | 0.734 | 0.770 | 0.773 💥 |
| Birdsnap | 0.434 | 0.567 | 0.609 | 0.612 💥 |
| SUN397 | 0.721 | 0.731 | 0.759 💥 | 0.758 |
| Stanford Cars | 0.766 | 0.797 | 0.831 | 0.840 💥 |
| DTD | 0.703 | 0.711 | 0.731 | 0.749 💥 |
| MNIST | 0.965 | 0.949 | 0.949 | 0.971 💥 |
| STL10 | 0.968 | 0.973 | 0.981 💥 | 0.974 |
| PCam | 0.835 | 0.791 | 0.807 | 0.846 💥 |
| CLEVR | 0.308 | 0.358 | 0.318 | 0.378 💥 |
| Rendered SST2 | 0.651 | 0.651 | 0.637 | 0.661 💥 |
| FGVC Aircraft | 0.283 | 0.290 | 0.341 | 0.362 💥 |
| Oxford Pets | 0.730 | 0.819 | 0.753 | 0.856 💥 |
| Caltech101 | 0.922 | 0.914 | 0.937 💥 | 0.932 |
| HatefulMemes | 0.581 | 0.563 | 0.585 💥 | 0.578 |

## Полезные ссылки

- [Cтатья о линейке моделей на habr](https://habr.com/ru/company/sberbank/blog/646447/)
 - [Github](https://github.com/sberbank-ai/ru-clip)
- [HuggingFace &#129303;](https://huggingface.co/sberbank-ai/ruclip-vit-base-patch32-384)

Russian Contrastive Language–Image Pre-training. 
Модель-ранжировщик текстов и изображений, 150 млн параметров.

ruCLIP - это мультимодальная модель для ранжирования изображений и подписей к ним, а также получения семантической близости изображений и текстов. Архитектура впервые представлена [OpenAI](https://openai.com/blog/clip/).

ruCLIP Base [vit-base-patch32-384]

ruCLIP (Russian Contrastive Language – Image Pre-training) обучена для русского языка на открытых данных, собранных из Рунета. 
240 миллионов уникальных пар картинка-текст в обучающей выборке.

**Информация об использовании модели:**

ruCLIP — это модель, состоящая из двух частей (или нейронных сетей):

1. Image Encoder — часть для кодирования изображений и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе берутся ResNet разных размеров и [Visual Transformer](https://en.wikipedia.org/wiki/Vision_transformer) — тоже разных размеров. В ruCLIP Large в качестве image encoder используется ViT-L/14.
2. Text Encoder — часть для кодирования текстов и перевода их в общее векторное пространство. В качестве архитектуры используется текстовый [Transformer](https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80_(%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F)).

## Similarity

![ruclip0](https://cdn.cloud.ru/backend/marketplace/ai/ruclip0.png)

**[\{"собачка": 0.99822598695755}, \{"кошка": 0.0016664331778883934}, \{"мышка": 1.3638593372888863e-05}, \{"машина": 1.954195431608241e-05}, \{"стол": 3.68908649761579e-06}, \{"дом": 3.0324985345941968e-05}, \{"жидкость": 4.039051418658346e-05}]**

## KFServing

Класс `KFServingRuClipModel` представлен ниже.

Вы можете подавать на вход модели:

- ссылки на изображения
- картинки в формате base64

На выходе модель покажет близость между текстами и картинками. Чем ближе значение к 1, тем ближе семантическое сходство картинки и текста.

```python
import os
import json
from collections import OrderedDict
from typing import Dict
import kfserving
import requests
import torch
import numpy as np
import io
from io import BytesIO
import base64
from PIL import Image
import re

from ruclip import CLIP, RuCLIPProcessor

def open_images_base64(img_strs):
    return [Image.open(BytesIO(base64.b64decode(img_str))) for img_str in img_strs]

def open_image_link(links):
    imgs = []
    for img_link in links:
        response = requests.get(img_link)
        imgs.append(Image.open(BytesIO(response.content)))
    return imgs

def create_image(sim_plt):
    my_stringIObytes = io.BytesIO()
    sim_plt.savefig(my_stringIObytes, format="jpg")
    my_stringIObytes.seek(0)
    my_base64 = base64.b64encode(my_stringIObytes.read())
    return my_base64

class KFServingRuClipModel(kfserving.KFModel):
    def __init__(self, title: str, model_path="./ruclip-vit-large-patch14-224"):
        super().__init__(name)
        self.name = name
        self.ready = False
        self.model_path = model_path

    def load(self):
        self.device = "cuda"
        self.clip = CLIP.from_pretrained(self.model_path).eval().to(self.device)
        self.clip_processor = RuCLIPProcessor.from_pretrained(self.model_path)
        self.ready = True
        
    def get_text_latents(self, texts):
        with torch.no_grad():
            inputs = self.clip_processor(text=texts, images=None)
            text_latents = self.clip.encode_text(
                input_ids=inputs["input_ids"].to(self.device), 
            )
            text_latents = text_latents / text_latents.norm(dim=-1, keepdim=True)
        return text_latents
        
    def get_logits(self, text_latents, pil_images):
        with torch.no_grad():
            inputs = self.clip_processor(text=None, images=pil_images)
            image_latents = self.clip.encode_image(
                pixel_values=inputs["pixel_values"].to(self.device)
            )
            image_latents = image_latents / image_latents.norm(dim=-1, keepdim=True)
            logits_per_text = torch.matmul(text_latents, image_latents.t())
            logits_per_image = logits_per_text.t()
        return logits_per_text, logits_per_image
    
    def get_similarity_scores(self, texts, images):
        """
        Find the most similar image to text.
        `texts`: array of texts or one text ["some_desc"]
        `images`: array of images.
        """
        text_latents = self.get_text_latents(texts)
        results = []
        for pil_image in images:
            _, logits_per_image = self.get_logits(text_latents, [pil_image])
            probs_raw = (logits_per_image * self.clip.logit_scale.exp().detach()).softmax(dim=-1)[0]
            label_id = probs_raw.argmax().item()
            confidence = probs_raw.max().item()
            
            probs = []
            for i in range(len(texts)):
                probs.append({texts[i]: probs_raw[i].item()})

            buffered = BytesIO()
            pil_image.save(buffered, format="JPEG")
            img = base64.b64encode(buffered.getvalue()).decode("utf-8")
            results.append({"image": img, "text": texts[label_id], "confidence" : confidence, "all_res": probs})
        
        return results
    
    def predict(self, request: Dict) -> Dict:
        texts = request["instances"][0]["texts"]
        
        img_strs = request["instances"][0].get("images", None)
        if img_strs is not None:
            images = open_images_base64(img_strs)
        
        images_links = request["instances"][0].get("image_links", None)

        if images_links is not None:
            images = open_image_link(images_links)
          
        error_msg = None
        predictions = []
        try:
            predictions = self.get_similarity_scores(texts, images)
        except Exception as ex:
            print(ex)
            error_msg = ex

        if error_msg is not None:
            return {"predictions": predictions, "error_message": str(error_msg)}
        else:
            return {"predictions": predictions}
```

Функция predict возвращает массив со словарями для каждой картинки вида:

```
     predictions: [
				{
					"image": "base64 image", 
					"text": "наиболее подходящий текст для картинки" ,
          "confidence": "мера близости для лучшей картинки", 
          "all_res": [{"менее вероятный текст": 0.31}, {"другой текст": 0.33},} ...]
				}
     ]
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ru_CLIP import KFServingRuClipModel

model = KFServingRuClipModel("kfserving-clip")
model.load()

# zero-shot and links
url_cat = "https://cs11.livemaster.ru/storage/topic/NxN/2c/9b/9cf0a41d13ecb11439e6145dff576315df83op.jpg?h=3KvOPndE06tlraLLSmkHPQ"
url_cat2 = "https://pbs.twimg.com/profile_images/560798448962633728/rDEdUfV_.jpeg"
url_dog = "https://ichef.bbci.co.uk/news/640/cpsprodpb/475B/production/_98776281_gettyimages-521697453.jpg"
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка", "машина", "стол", "дом", "жидкость"],
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result

`{"predictions": "[{"image": b"/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ...", "text": "собачка", "confidence": 0.99822598695755, "all_res": [\{"собачка": 0.99822598695755}, \{"кошка": 0.0016664331778883934}, \{"мышка": 1.3638593372888863e-05}, \{"машина": 1.954195431608241e-05}, \{"стол": 3.68908649761579e-06}, \{"дом": 3.0324985345941968e-05}, \{"жидкость": 4.039051418658346e-05}]}, ... ]", "error_message": None}`
```

## Оценки модели на популярных датасетах

Косинусная близость между текстами и картинками для модели ruCLIP

![ruclip3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip3.png)

Предсказания топ 5 классов для изображений с помощью ruCLIP

![ruclip4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip4.png)

Сравнение моделей на задаче zero-shot классификации для разных датасетов. Жирным выделена лучшая метрика для каждого из датасетов без учета оригинального CLIP без переводчика.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Large [vit-large-patch14-224] | CLIP [vit-base-patch16-224] original + MT | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- | --- |
| Food101 | 0.137 | 0.597 | 0.663 | 0.883 |
| CIFAR10 | 0.808 | 0.878 | 0.859 | 0.893 |
| CIFAR100 | 0.440 | 0.511 | 0.603 | 0.647 |
| Birdsnap | 0.036 | 0.172 | 0.126 | 0.399 |
| SUN397 | 0.258 | 0.484 | 0.447 | 0.631 |
| Stanford Cars | 0.023 | 0.559 | 0.567 | 0.637 |
| DTD | 0.169 | 0.370 | 0.243 | 0.432 |
| MNIST | 0.137 | 0.337 | 0.559 | 0.559 |
| STL10 | 0.910 | 0.935 | 0.966 | 0.970 |
| PCam | 0.484 | 0.520 | 0.602 | 0.573 |
| CLEVR | 0.104 | 0.152 | 0.240 | 0.240 |
| Rendered SST2 | 0.483 | 0.529 | 0.484 | 0.484 |
| FGVC Aircraft | 0.020 | 0.046 | 0.220 | 0.244 |
| Oxford Pets | 0.462 | 0.604 | 0.507 | 0.874 |
| Caltech101 | 0.590 | 0.777 | 0.792 | 0.883 |
| HatefulMemes | 0.527 | 0.530 | 0.579 | 0.589 |
| ImageNet | 0.538 | 0.426 | 0.392 | 0.638 |
| Flowers102 | 0.063 | 0.455 | 0.356 | 0.696 |

Звездочками показана средняя zero-shot оценка моделей на 16 датасетах. Также, как и в статье, на признаках, которые достает CLIP для изображений были обучены логистические регрессии с использованием 1-2-4-8-16 изображений для каждого класса. Поскольку признаки, которые извлекаются у openai и openai_mt одинаковые — для openai_mt нет отдельного графика few-shot классификации. Также мы посчитали усредненный few-shot график для модели ruCLIP Large без учета трех датасетов - PCam, Oxford Pets и FGVC Aircraft, на которых модель проигрывает достаточно сильно и можно видеть (пунктирная линия), что среднее качество практически совпадает с ruCLIP Small.

![ruclip_large_1](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_1.png)

То же самое, но отдельно по каждому датасету.

![ruclip_large_2](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_2.png)

Сравнение linear-prob метрики для трех моделей на разных датасетах.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Large [vit-large-patch14-224] | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- |
| Food101 | 0.874 | 0.839 | 0.900 |
| CIFAR10 | 0.948 | 0.926 | 0.953 |
| CIFAR100 | 0.794 | 0.733 | 0.807 |
| Birdsnap | 0.584 | 0.566 | 0.664 |
| SUN397 | 0.753 | 0.730 | 0.776 |
| Stanford Cars | 0.806 | 0.796 | 0.865 |
| DTD | 0.737 | 0.710 | 0.769 |
| MNIST | 0.985 | 0.949 | 0.988 |
| STL10 | 0.977 | 0.972 | 0.982 |
| PCam | 0.833 | 0.790 | 0.830 |
| CLEVR | 0.524 | 0.358 | 0.604 |
| Rendered SST2 | 0.568 | 0.650 | 0.605 |
| FGVC Aircraft | 0.499 | 0.290 | 0.604 |
| Oxford Pets | 0.894 | 0.819 | 0.931 |
| Caltech101 | 0.936 | 0.913 | 0.955 |
| HatefulMemes | 0.637 | 0.562 | 0.645 |

Здесь указаны графики корреляции zero-shot и linear-prob результатов для разных моделей.

**ruCLIP Large [vit-large-patch14-224]**

![ruclip_large_3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_3.png)

**ruCLIP Small [rugpt3-small]**

![ruclip_base_4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_4.png)

**CLIP [vit-base-patch16-224] original + MT**

![ruclip_base_5](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_5.png)

**CLIP [vit-base-patch16-224] original**

![ruclip_base_6](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_6.png)

Сравнение разных моделей на ImageNet датасетах

|  | resnet101 | CLIP [vit-base-patch16-224] original | CLIP [vit-base-patch16-224] original + MT | ruCLIP Large [vit-large-patch14-224] | ruCLIP Small [rugpt3-small] |
| --- | --- | --- | --- | --- | --- |
| ImageNet | 0.738 | 0.638 | 0.391 | 0.426 | 0.537 |
| ImageNetV2 | 0.618 | 0.581 | 0.353 | 0.372 | 0.458 |
| ImageNet-R | 0.271 | 0.489 | 0.352 | 0.465 | 0.240 |
| ImageNet-A | 0.021 | 0.265 | 0.156 | 0.121 | 0.080 |
| ImageNet-Sketch | 0.264 | 0.448 | 0.291 | 0.372 | 0.250 |

Zero-shot классификация для разных датасетов на моделях ruCLIP.

| Dataset | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-336] exclusive ☁️SberCloud only | ruCLIP Base [vit-base-patch16-384] exclusive ☁️SberCloud only |
| --- | --- | --- | --- | --- |
| Food101, acc | 0.597 | 0.642 | 0.712 💥 | 0.689 |
| CIFAR10, acc | 0.878 | 0.862 | 0.906 💥 | 0.845 |
| CIFAR100, acc | 0.511 | 0.529 | 0.591 💥 | 0.569 |
| Birdsnap, acc | 0.172 | 0.161 | 0.213 💥 | 0.195 |
| SUN397, acc | 0.484 | 0.510 | 0.523 💥 | 0.521 |
| Stanford Cars, acc | 0.559 | 0.572 | 0.659 💥 | 0.626 |
| DTD, acc | 0.370 | 0.390 | 0.408 | 0.421 💥 |
| MNIST, acc | 0.337 | 0.404 | 0.242 | 0.478 💥 |
| STL10, acc | 0.934 | 0.946 | 0.956 | 0.964 💥 |
| PCam, acc | 0.520 | 0.506 | 0.554 💥 | 0.501 |
| CLEVR, acc | 0.152 | 0.188 💥 | 0.142 | 0.132 |
| Rendered SST2, acc | 0.529 | 0.508 | 0.539 💥 | 0.525 |
| ImageNet, acc | 0.426 | 0.451 | 0.488 💥 | 0.482 |
| FGVC Aircraft, mean-per-class | 0.046 | 0.053 | 0.075 💥 | 0.046 |
| Oxford Pets, mean-per-class | 0.604 | 0.587 | 0.546 | 0.635 💥 |
| Caltech101, mean-per-class | 0.777 | 0.834 | 0.835 💥 | 0.835 💥 |
| Flowers102, mean-per-class | 0.455 | 0.449 | 0.517 💥 | 0.452 |
| Hateful Memes, roc-auc | 0.530 | 0.537 | 0.519 | 0.543💥 |

Few-shot классификация для разных датасетов на моделях ruCLIP.

| Dataset | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Large [vit-large-patch14-336] exclusive ☁️SberCloud only | ruCLIP Base [vit-base-patch16-384] exclusive ☁️SberCloud only |
| --- | --- | --- | --- | --- |
| Food101 | 0.840 | 0.851 | 0.896 💥 | 0.890 |
| CIFAR10 | 0.927 | 0.934 | 0.943 💥 | 0.942 |
| CIFAR100 | 0.734 | 0.745 | 0.770 | 0.773 💥 |
| Birdsnap | 0.567 | 0.434 | 0.609 | 0.612 💥 |
| SUN397 | 0.731 | 0.721 | 0.759 💥 | 0.758 |
| Stanford Cars | 0.797 | 0.766 | 0.831 | 0.840 💥 |
| DTD | 0.711 | 0.703 | 0.731 | 0.749 💥 |
| MNIST | 0.949 | 0.965 | 0.949 | 0.971 💥 |
| STL10 | 0.973 | 0.968 | 0.981 💥 | 0.974 |
| PCam | 0.791 | 0.835 | 0.807 | 0.846 💥 |
| CLEVR | 0.358 | 0.308 | 0.318 | 0.378 💥 |
| Rendered SST2 | 0.651 | 0.651 | 0.637 | 0.661 💥 |
| FGVC Aircraft | 0.290 | 0.283 | 0.341 | 0.362 💥 |
| Oxford Pets | 0.819 | 0.730 | 0.753 | 0.856 💥 |
| Caltech101 | 0.914 | 0.922 | 0.937 💥 | 0.932 |
| HatefulMemes | 0.563 | 0.581 | 0.585 💥 | 0.578 |

## Полезные ссылки

- [Cтатья о линейке моделей на habr](https://habr.com/ru/company/sberbank/blog/646447/)
 - [Github](https://github.com/sberbank-ai/ru-clip)
- [HuggingFace &#129303;](https://huggingface.co/sberbank-ai/ruclip-vit-large-patch14-224)

Модель-ранжировщик текстов и изображений, 430 млн параметров

Russian Contrastive Language–Image Pre-training. 
Модель-ранжировщик текстов и изображений, 430 млн параметров.
ruCLIP - это мультимодальная модель для ранжирования изображений и подписей к ним, а также получения семантической близости изображений и текстов. Архитектура впервые представлена [OpenAI](https://openai.com/blog/clip/).

ruCLIP Large [vit-large-patch14-224]

ruCLIP (Russian Contrastive Language – Image Pre-training) обучена для русского языка на открытых данных, собранных из Рунета.

240 миллионов уникальных пар картинка-текст в обучающей выборке.

**Информация об использовании модели:**

Эксклюзивная версия модели ruCLIP, доступная только на платформе Cloud.ru. Модель отличает сочетание меньшего размера патча - 14 и б*о*льшего размера входных изображений - 336. Данное сочетание привело к наиболее высоким качественным результатам оценки модели - на 12 из 18 датасетах (zero-shot задача), на 5 из 16 датасетах (few-shot задача).

ruCLIP — это модель, состоящая из двух частей (или нейронных сетей):

1. Image Encoder — часть для кодирования изображений и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе берутся ResNet разных размеров и [Visual Transformer](https://en.wikipedia.org/wiki/Vision_transformer) — тоже разных размеров. В ruCLIP Large в качестве image encoder используется ViT-L/14.
2. Text Encoder — часть для кодирования текстов и перевода их в общее векторное пространство. В качестве архитектуры используется текстовый [Transformer](https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80_(%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F)).

## Similarity

![ruclip0](https://cdn.cloud.ru/backend/marketplace/ai/ruclip0.png)

**[\{"собачка": 0.9913390278816223}, \{"кошка": 0.0070372591726481915}, \{"мышка": 5.551231879508123e-05}, \{"машина": 0.000418326846556738}, \{"стол": 0.0001436278544133529}, \{"дом": 0.00010760522854980081}, \{"жидкость": 0.0008986211032606661}]**

## KFServing

Класс `KFServingRuClipModel` представлен ниже.

Вы можете подавать на вход модели:

- ссылки на изображения
- картинки в формате base64

На выходе модель покажет близость между текстами и картинками. Чем ближе значение к 1, тем ближе семантическое сходство картинки и текста.

```python
import os
import json
from collections import OrderedDict
from typing import Dict
import kfserving
import requests
import torch
import numpy as np
import io
from io import BytesIO
import base64
from PIL import Image
import re

from ruclip import CLIP, RuCLIPProcessor

def open_images_base64(img_strs):
    return [Image.open(BytesIO(base64.b64decode(img_str))) for img_str in img_strs]

def open_image_link(links):
    imgs = []
    for img_link in links:
        response = requests.get(img_link)
        imgs.append(Image.open(BytesIO(response.content)))
    return imgs

def create_image(sim_plt):
    my_stringIObytes = io.BytesIO()
    sim_plt.savefig(my_stringIObytes, format="jpg")
    my_stringIObytes.seek(0)
    my_base64 = base64.b64encode(my_stringIObytes.read())
    return my_base64

class KFServingRuClipModel(kfserving.KFModel):
    def __init__(self, title: str, model_path="./ruclip-vit-large-patch14-336"):
        super().__init__(name)
        self.name = name
        self.ready = False
        self.model_path = model_path

    def load(self):
        self.device = "cuda"
        self.clip = CLIP.from_pretrained(self.model_path).eval().to(self.device)
        self.clip_processor = RuCLIPProcessor.from_pretrained(self.model_path)
        self.ready = True
        
    def get_text_latents(self, texts):
        with torch.no_grad():
            inputs = self.clip_processor(text=texts, images=None)
            text_latents = self.clip.encode_text(
                input_ids=inputs["input_ids"].to(self.device), 
            )
            text_latents = text_latents / text_latents.norm(dim=-1, keepdim=True)
        return text_latents
        
    def get_logits(self, text_latents, pil_images):
        with torch.no_grad():
            inputs = self.clip_processor(text=None, images=pil_images)
            image_latents = self.clip.encode_image(
                pixel_values=inputs["pixel_values"].to(self.device)
            )
            image_latents = image_latents / image_latents.norm(dim=-1, keepdim=True)
            logits_per_text = torch.matmul(text_latents, image_latents.t())
            logits_per_image = logits_per_text.t()
        return logits_per_text, logits_per_image
    
    def get_similarity_scores(self, texts, images):
        """
        Find the most similar image to text.
        `texts`: array of texts or one text ["some_desc"]
        `images`: array of images.
        """
        text_latents = self.get_text_latents(texts)
        results = []
        for pil_image in images:
            _, logits_per_image = self.get_logits(text_latents, [pil_image])
            probs_raw = (logits_per_image * self.clip.logit_scale.exp().detach()).softmax(dim=-1)[0]
            label_id = probs_raw.argmax().item()
            confidence = probs_raw.max().item()
            
            probs = []
            for i in range(len(texts)):
                probs.append({texts[i]: probs_raw[i].item()})

            buffered = BytesIO()
            pil_image.save(buffered, format="JPEG")
            img = base64.b64encode(buffered.getvalue()).decode("utf-8")
            results.append({"image": img, "text": texts[label_id], "confidence" : confidence, "all_res": probs})
        
        return results
    
    def predict(self, request: Dict) -> Dict:
        texts = request["instances"][0]["texts"]
        
        img_strs = request["instances"][0].get("images", None)
        if img_strs is not None:
            images = open_images_base64(img_strs)
        
        images_links = request["instances"][0].get("image_links", None)

        if images_links is not None:
            images = open_image_link(images_links)
          
        error_msg = None
        predictions = []
        try:
            predictions = self.get_similarity_scores(texts, images)
        except Exception as ex:
            print(ex)
            error_msg = ex

        if error_msg is not None:
            return {"predictions": predictions, "error_message": str(error_msg)}
        else:
            return {"predictions": predictions}
```

Функция predict возвращает массив со словарями для каждой картинки вида:

```
     predictions: [
				{
					"image": "base64 image", 
					"text": "наиболее подходящий текст для картинки" ,
          "confidence": "мера близости для лучшей картинки", 
          "all_res": [{"менее вероятный текст": 0.31}, {"другой текст": 0.33},} ...]
				}
     ]
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ru_CLIP import KFServingRuClipModel

model = KFServingRuClipModel("kfserving-clip")
model.load()

# zero-shot and links
url_cat = "https://cs11.livemaster.ru/storage/topic/NxN/2c/9b/9cf0a41d13ecb11439e6145dff576315df83op.jpg?h=3KvOPndE06tlraLLSmkHPQ"
url_cat2 = "https://pbs.twimg.com/profile_images/560798448962633728/rDEdUfV_.jpeg"
url_dog = "https://ichef.bbci.co.uk/news/640/cpsprodpb/475B/production/_98776281_gettyimages-521697453.jpg"
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка", "машина", "стол", "дом", "жидкость"],
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result

`{"predictions": "[{"image": b"/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ...", "text": "собачка", "confidence": 0.9913390278816223,"all_res": [{"собачка": 0.9913390278816223}, {"кошка": 0.0070372591726481915}, {"мышка": 5.551231879508123e-05}, {"машина": 0.000418326846556738}, {"стол": 0.0001436278544133529}, {"дом": 0.00010760522854980081}, {"жидкость": 0.0008986211032606661}]}, ... ]", "error_message": None}`
```

## Оценки модели на популярных датасетах

Косинусная близость между текстами и картинками для модели ruCLIP

![ruclip3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip3.png)

Предсказания топ 5 классов для изображений с помощью ruCLIP

![ruclip4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip4.png)

Сравнение моделей на задаче zero-shot классификации для разных датасетов. Жирным выделена лучшая метрика для каждого из датасетов без учета оригинального CLIP без переводчика.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Large [vit-large-patch14-336] exclusive | CLIP [vit-base-patch16-224] original + MT | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- | --- |
| Food101 | 0.137 | 0.711 | 0.663 | 0.882 |
| CIFAR10 | 0.808 | 0.905 | 0.859 | 0.892 |
| CIFAR100 | 0.439 | 0.591 | 0.602 | 0.647 |
| Birdsnap | 0.035 | 0.213 | 0.126 | 0.395 |
| SUN397 | 0.257 | 0.523 | 0.447 | 0.631 |
| Stanford Cars | 0.022 | 0.658 | 0.567 | 0.637 |
| DTD | 0.168 | 0.407 | 0.242 | 0.432 |
| MNIST | 0.137 | 0.241 | 0.558 | 0.558 |
| STL10 | 0.909 | 0.956 | 0.966 | 0.970 |
| PCam | 0.484 | 0.553 | 0.602 | 0.572 |
| CLEVR | 0.104 | 0.142 | 0.240 | 0.240 |
| Rendered SST2 | 0.482 | 0.538 | 0.483 | 0.483 |
| FGVC Aircraft | 0.019 | 0.075 | 0.219 | 0.244 |
| Oxford Pets | 0.462 | 0.545 | 0.506 | 0.873 |
| Caltech101 | 0.589 | 0.835 | 0.791 | 0.882 |
| HatefulMemes | 0.527 | 0.518 | 0.579 | 0.589 |
| ImageNet | 0.537 | 0.488 | 0.391 | 0.638 |
| Flowers102 | 0.063 | 0.516 | 0.356 | 0.696 |

Звездочками показана средняя zero-shot оценка моделей на 16 датасетах. Также, как и в статье, на признаках, которые достает CLIP для изображений были обучены логистические регрессии с использованием 1-2-4-8-16 изображений для каждого класса. Поскольку признаки, которые извлекаются у openai и openai_mt одинаковые — для openai_mt нет отдельного графика few-shot классификации. Также мы посчитали усредненный few-shot график для модели ruCLIP Large exclusive без учета трех датасетов - PCam, Oxford Pets и FGVC Aircraft, на которых модель проигрывает достаточно сильно и можно видеть (пунктирная линия), что среднее качество немного превосходит ruCLIP Small.

![ruclip_large_ex_1](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_ex_1.png)

То же самое, но отдельно по каждому датасету.

![ruclip_large_ex_2](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_ex_2.png)

Сравнение linear-prob метрики для трех моделей на разных датасетах.

|  | ruCLIP Small [rugpt3-small] | ruCLIP Large [vit-large-patch14-336] exclusive | CLIP [vit-base-patch16-224] original |
| --- | --- | --- | --- |
| Food101 | 0.873 | 0.896 | 0.900 |
| CIFAR10 | 0.948 | 0.943 | 0.953 |
| CIFAR100 | 0.794 | 0.769 | 0.807 |
| Birdsnap | 0.584 | 0.609 | 0.664 |
| SUN397 | 0.752 | 0.758 | 0.776 |
| Stanford Cars | 0.806 | 0.831 | 0.865 |
| DTD | 0.737 | 0.730 | 0.769 |
| MNIST | 0.985 | 0.949 | 0.988 |
| STL10 | 0.977 | 0.981 | 0.982 |
| PCam | 0.833 | 0.806 | 0.830 |
| CLEVR | 0.524 | 0.318 | 0.604 |
| Rendered SST2 | 0.568 | 0.637 | 0.605 |
| FGVC Aircraft | 0.499 | 0.340 | 0.604 |
| Oxford Pets | 0.894 | 0.753 | 0.931 |
| Caltech101 | 0.936 | 0.936 | 0.955 |
| HatefulMemes | 0.637 | 0.585 | 0.645 |

Здесь указаны графики корреляции zero-shot и linear-prob результатов для разных моделей.

**ruCLIP Large [vit-large-patch16-336] exclusive**

![ruclip_large_ex_3](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_large_ex_3.png)

**ruCLIP Small [rugpt3-small]**

![ruclip_base_4](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_4.png)

**CLIP [vit-base-patch16-224] original + MT**

![ruclip_base_5](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_5.png)

**CLIP [vit-base-patch16-224] original**

![ruclip_base_6](https://cdn.cloud.ru/backend/marketplace/ai/ruclip_base_6.png)

Сравнение разных моделей на ImageNet датасетах.

|  | resnet101 | CLIP [vit-base-patch16-224] original | CLIP [vit-base-patch16-224] original + MT | ruCLIP Large [vit-large-patch14-336] exclusive | ruCLIP Small [rugpt3-small] |
| --- | --- | --- | --- | --- | --- |
| ImageNet | 0.738 | 0.638 | 0.391 | 0.488 | 0.537 |
| ImageNetV2 | 0.618 | 0.581 | 0.353 | 0.430 | 0.458 |
| ImageNet-R | 0.271 | 0.489 | 0.352 | 0.525 | 0.240 |
| ImageNet-A | 0.021 | 0.265 | 0.156 | 0.229 | 0.080 |
| ImageNet-Sketch | 0.264 | 0.448 | 0.291 | 0.419 | 0.250 |

Zero-shot классификация для разных датасетов на моделях ruCLIP.

|  | ruCLIP Large [vit-large-patch14-336] exclusive | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Base [vit-base-patch16-384] exclusive |
| --- | --- | --- | --- | --- |
| Food101, acc | 0.712 💥 | 0.597 | 0.642 | 0.689 |
| CIFAR10, acc | 0.906 💥 | 0.878 | 0.862 | 0.845 |
| CIFAR100, acc | 0.591 💥 | 0.511 | 0.529 | 0.569 |
| Birdsnap, acc | 0.213 💥 | 0.172 | 0.161 | 0.195 |
| SUN397, acc | 0.523 💥 | 0.484 | 0.510 | 0.521 |
| Stanford Cars, acc | 0.659 💥 | 0.559 | 0.572 | 0.626 |
| DTD, acc | 0.408 | 0.370 | 0.390 | 0.421 💥 |
| MNIST, acc | 0.242 | 0.337 | 0.404 | 0.478 💥 |
| STL10, acc | 0.956 | 0.934 | 0.946 | 0.964 💥 |
| PCam, acc | 0.554 💥 | 0.520 | 0.506 | 0.501 |
| CLEVR, acc | 0.142 | 0.152 | 0.188 💥 | 0.132 |
| Rendered SST2, acc | 0.539 💥 | 0.529 | 0.508 | 0.525 |
| ImageNet, acc | 0.488 💥 | 0.426 | 0.451 | 0.482 |
| FGVC Aircraft, mean-per-class | 0.075 💥 | 0.046 | 0.053 | 0.046 |
| Oxford Pets, mean-per-class | 0.546 | 0.604 | 0.587 | 0.635 💥 |
| Caltech101, mean-per-class | 0.835 💥 | 0.777 | 0.834 | 0.835 💥 |
| Flowers102, mean-per-class | 0.517 💥 | 0.455 | 0.449 | 0.452 |
| Hateful Memes, roc-auc | 0.519 | 0.530 | 0.537 | 0.543💥 |

Few-shot классификация для разных датасетов на моделях ruCLIP.

|  | ruCLIP Large [vit-large-patch14-336] exclusive | ruCLIP Large [vit-large-patch14-224] | ruCLIP Base [vit-base-patch32-384] | ruCLIP Base [vit-base-patch16-384] exclusive |
| --- | --- | --- | --- | --- |
| Food101 | 0.896 💥 | 0.840 | 0.851 | 0.890 |
| CIFAR10 | 0.943 💥 | 0.927 | 0.934 | 0.942 |
| CIFAR100 | 0.770 | 0.734 | 0.745 | 0.773 💥 |
| Birdsnap | 0.609 | 0.567 | 0.434 | 0.612 💥 |
| SUN397 | 0.759 💥 | 0.731 | 0.721 | 0.758 |
| Stanford Cars | 0.831 | 0.797 | 0.766 | 0.840 💥 |
| DTD | 0.731 | 0.711 | 0.703 | 0.749 💥 |
| MNIST | 0.949 | 0.949 | 0.965 | 0.971 💥 |
| STL10 | 0.981 💥 | 0.973 | 0.968 | 0.974 |
| PCam | 0.807 | 0.791 | 0.835 | 0.846 💥 |
| CLEVR | 0.318 | 0.358 | 0.308 | 0.378 💥 |
| Rendered SST2 | 0.637 | 0.651 | 0.651 | 0.661 💥 |
| FGVC Aircraft | 0.341 | 0.290 | 0.283 | 0.362 💥 |
| Oxford Pets | 0.753 | 0.819 | 0.730 | 0.856 💥 |
| Caltech101 | 0.937 💥 | 0.914 | 0.922 | 0.932 |
| HatefulMemes | 0.585 💥 | 0.563 | 0.581 | 0.578 |

## Полезные ссылки

- [Cтатья о линейке моделей на habr](https://habr.com/ru/company/sberbank/blog/646447/)
 - [Github](https://github.com/sberbank-ai/ru-clip)

Russian Contrastive Language–Image Pre-training. 
Модель-ранжировщик текстов и изображений, 430 млн параметров.

ruCLIP - это мультимодальная модель для ранжирования изображений и подписей к ним, а также получения семантической близости изображений и текстов. Архитектура впервые представлена [OpenAI](https://openai.com/blog/clip/).

ruCLIP Large [vit-large-patch14-336] exclusive

**Новости о модели:**

- Github: [репозиторий](https://github.com/sberbank-ai/ru-clip) модели
- Habr: как мы обучали [ruCLIP Small [rugpt3-small] 216M](https://habr.com/ru/company/sberdevices/blog/564440/)

**Информация об использовании модели:**

Примеры кода с использованием модели находятся на [Github](https://github.com/sberbank-ai/ru-clip)

CLIP — это модель, состоящая из двух частей (или нейронных сетей):

1. Image Encoder — часть для кодирования изображений и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе берутся ResNet разных размеров и Visual Transformer — тоже разных размеров.
2. Text Encoder — часть для кодирования текстов и перевода их в общее векторное пространство. В качестве архитектуры в оригинальной работе используется небольшой текстовый Transformer.

## Similarity

```jsx
images, texts = show_test_images(args)
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip1.png)

```jsx
similarity = logits_per_text.cpu().numpy() / 100
_ = show_similarity(images, texts, similarity, args)
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip2.png)

## Zero-Shot Image Classification

```jsx
with open("ru-clip/clip/evaluate/classes.json", "r") as file:
    classes = json.load(file)
logits_per_image, logits_per_text = call_model(model, tokenizer, args, prepare_classes(classes), images)
show_topk_probs(images, classes, logits_per_image, args, k=5)
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip3.png)

## Installation

```jsx
import subprocess

CUDA_version = [s for s in subprocess.check_output(["nvcc", "--version"]).decode("UTF-8").split(", ") if s.startswith("release")][0].split(" ")[-1]
print("CUDA version:", CUDA_version)

if CUDA_version == "10.0":
    torch_version_suffix = "+cu100"
elif CUDA_version == "10.1":
    torch_version_suffix = "+cu101"
elif CUDA_version == "10.2":
    torch_version_suffix = ""
else:
    torch_version_suffix = "+cu110"

!pip install torch==1.7.1{torch_version_suffix} torchvision==0.8.2{torch_version_suffix} -f https://download.pytorch.org/whl/torch_stable.html ftfy regex

import numpy as np
import torch

print("Torch version:", torch.__version__)
!pip install transformers==3.5.1
!pip install pymorphy2

!git clone https://github.com/sberbank-ai/ru-clip.git

%load_ext autoreload

%autoreload 2
```

## Download Model

```jsx
import sys
sys.path.append("ru-clip/")

from clip.evaluate.utils import (
    get_text_batch, get_image_batch, get_tokenizer,
    show_test_images, show_similarity,
    prepare_classes, call_model,
    show_topk_probs,
    load_weights_only,
    get_topk_accuracy,
    show_topk_accuracy
)
from clip.evaluate.tvd import get_text_probs_from_dataset
import torch
import json

model, args = load_weights_only("ViT-B/32-small")
model = model.cuda().float().eval()
```

## KF Serving

Класс `KFServingRuClipModel` представлен ниже.

Работа с моделью возможна в 2 вариантах:

1. режим измерения близости между текстами и картинками  `("mode": "similarity")` - получение косинусных мер близости 
2. режим zero-shot-классификации изображений  `("mode": "zero-shot")` - подбор взаимного соответствия батча переданных изображений и предложенного списка классов 

Косинусная мера: чем она ближе к единице, тем больше связь текста и изображения. Чем мера ближе к нулю, тем семантическое соответствие текста и картинки [ccылка](https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%9E%D1%82%D0%B8%D0%B0%D0%B8) 

similarity является режимом по умолчанию, если режим не указан в запросе.

Независимо от режима работы,  функция predict возвращает словарь вида:

```
     predictions: {‘predictions’: ‘’, ... ‘res_image’: ‘’}
```

```jsx
class KFServingRuClipModel(kfserving.KFModel):
    def __init__(self, title: str, model_path="ViT-B/32-small"):
        super().__init__(name)
        self.name = name
        self.ready = False
        self.model_path = model_path

    def load(self):
        self.model, self.args = load_weights_only(self.model_path)
        self.model = self.model.cuda().float().eval()
        self.tokenizer = get_tokenizer()
        self.ready = True
    
    def preprocess(self, ims):
        input_resolution = self.args.img_transform.transforms[0].size
        preprocess = Compose([
            Resize(input_resolution, interpolation=Image.BICUBIC),
            CenterCrop(input_resolution),
            ToTensor()
        ])
        images = []
        for img in ims:
            image = preprocess(img)
            images.append(image)
        return images
    
    def get_similarity_score(self, texts, images):
        """
        Find the most similar image to text.
        `texts`: array of texts or one text ["some_desc"]
        `images`: array of images.
        """
        input_ids, attention_mask = get_text_batch(["Это " + desc for desc in texts], self.tokenizer, self.args)
        images = torch.tensor(np.stack(images))
        img_input = images.to(images.device if self.args.cpu else torch.cuda.current_device())
    
        with torch.no_grad():
            logits_per_image, logits_per_text = self.model(
                img_input={"x": img_input},
                text_input={"x": input_ids, "attention_mask": attention_mask}
            )
        similarity = logits_per_text.cpu().numpy() / 100
        sim_plt = show_similarity(images, texts, similarity, self.args)
        result_img = create_image(sim_plt)
        return similarity, result_img
    
    def zero_shot_cls(self, images, txt_classes, topk):
        """
        Classify images using the cosine similarity (times 100) as the logits to the softmax operation.
        Show image - it returns the best classes
        """
        text_classes = prepare_classes(txt_classes)
        input_ids, attention_mask = get_text_batch(text_classes, self.tokenizer, self.args)
        images = torch.tensor(np.stack(images))
        img_input = images.to(images.device if self.args.cpu else torch.cuda.current_device())
        with torch.no_grad():
            logits_per_image, logits_per_text = self.model(
                img_input={"x": img_input},
                text_input={"x": input_ids, "attention_mask": attention_mask}
            )
        top_probs, plt = show_topk_probs(images, txt_classes, logits_per_image, self.args, k=topk)
        result_img = create_image(plt)
        return top_probs, result_img
    
    def predict(self, request: Dict) -> Dict:
        texts = request['instances'][0]["texts"]
        
        img_strs = request['instances'][0].get('images', None)
        if img_strs is not None:
            images = open_images_base64(img_strs)
        
        images_links = request['instances'][0].get('image_links', None)

        if images_links is not None:
            images = open_image_link(images_links)

        images_preproc = self.preprocess(images)
        mode = request['instances'][0].get('mode', 'similarity') # zero-shot
        
        error_msg = None
        if mode == 'similarity':
            preds, res_image = self.get_similarity_score(texts, images_preproc)
            predictions = { label: list(pred) for pred, label in zip(preds, texts) }
        elif mode == 'zero-shot':
            topk = request['instances'][0].get("k", 3)
            predictions, res_image = self.zero_shot_cls(images_preproc, texts, topk)
        else:
            predictions, error_msg, res_image = None, "Please, choose between two modes: `similarity`, `zero-shot`.", None
        if error_msg is None:
            return {"predictions": f"{predictions}", "mode": str(mode), "res_image": res_image, "error_message": error_msg}
        else:
            return {"predictions": f"{predictions}", "mode": str(mode), "res_image": res_image}
```

## Пример работы с моделью

```jsx
!pip install -r requirements.txt
from kfserving_ru_CLIP import KFServingRuClipModel

model = KFServingRuClipModel("kfserving-clip")
model.load()

# zero-shot and links

url_cat = "https://cs11.livemaster.ru/storage/topic/NxN/2c/9b/9cf0a41d13ecb11439e6145dff576315df83op.jpg?h=3KvOPndE06tlraLLSmkHPQ"
url_cat2 = "https://pbs.twimg.com/profile_images/560798448962633728/rDEdUfV_.jpeg"
url_dog = "https://ichef.bbci.co.uk/news/640/cpsprodpb/475B/production/_98776281_gettyimages-521697453.jpg"
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка", "машина", "стол", "дом", "жидкость"],
        "mode": "zero-shot",
        "k": 3,
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip5.png)

```jsx
## zero-shot and images in base64
result = model.predict({"instances": [{
        "texts": ["парень", "бокал вина", "девушка", "небо"],
        "mode": "zero-shot",
        "images": [man, vino, woman, nebo]
    }]
})

"Res: ", result
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip6.png)

```jsx
## similarity and links
result = model.predict({"instances": [{
        "texts": ["собачка", "кошка", "мышка"],
        "mode": "similarity",
        "image_links": [url_dog, url_cat, url_cat2]
    }]
})

"Res: ", result
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip7.png)

```jsx
## similarity and images in base64
result = model.predict({"instances": [{
        "texts": ["парень", "бокал вина", "девушка", "sky"],
        "mode": "similarity",
        "images": [man, vino, woman, nebo]
    }]
})

"Res: ", result
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip8.png)

```jsx
from io import BytesIO
import base64
from PIL import Image

Image.open(BytesIO(base64.b64decode(result["res_image"])))
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/ruclip9.png)

Модель-ранжировщик текстов и изображений, 216 млн параметров

Russian Contrastive Language–Image Pre-training 
 ruCLIP Small [rugpt3-small] - это мультимодальная модель для ранжирования изображений и подписей к ним + получения семантической близости изображений и текстов. Архитектура впервые представлена [OpenAI](https://openai.com/blog/clip/)
 ruCLIP Small [rugpt3-small] (Russian Contrastive Language – Image Pre-training) обучена для русского языка на открытых больших данных. Вот некоторые из них:

- ImageNet — переведённый на русский язык;
- Flickr — картинки с русскими описаниями с фотостока;
- Ru-wiki — часть картинок из русской Википедии с описаниями.

Всего около 3 млн уникальных пар «картинка-текст». Модель обучалась около 5 дней на 16 Tesla GPU V100 с размером batch-а 16 и длиной последовательности 128 на RuGPT3Small  на ML Space.

ruCLIP Small [rugpt3-small]

### **Новости**

- [Habr: ruDALL-E - генерируем изображения по текстовому описанию, или Самый большой вычислительный проект в России](https://habr.com/ru/company/sberbank/blog/586926/)
- [VC: Вы синиц показываете? Красивое!: что сгенерировали пользователи с помощью нейросети ruDALL-E](https://vc.ru/dev/314812-vy-sinic-pokazyvaete-krasivoe-chto-sgenerirovali-polzovateli-s-pomoshchyu-neyroseti-rudall-e-ot-sbera)

### Подробнее **о модели**

Примеры кода с использованием модели: [GitHub](https://github.com/sberbank-ai/ru-dalle)

Статья OpenAI: [ссылка](https://arxiv.org/pdf/2102.12092.pdf)

Галерея ruDALL-E: [ссылка](https://rudalle.ru/)

### **Применение**

Генерация изображений решает две важные задачи, которые не может решить поиск: 

- позволяет учесть точное описание желаемого

- создаёт изображение, которое раньше не существовало. 

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Модель доступна для дообучения, примеры представлены на [GitHub](https://github.com/sberbank-ai/ru-dalle).

Код в деплое решает следующие задачи:

1. генерация изображений по текстовому описанию
2. выбор (ранжирование) самого релеватного и качественного изображения из сгенерированных с помощью модели ruCLIP
3. увеличение разрешения изображения в 2, 4, 8 раз - super resolution 

Пример: "*шикарная гостиная с зелеными креслами у окна"*

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_1.png)

### Installation

```jsx
pip install rudalle==0.0.1rc6
```

### Описание работы с моделью

**Шаг 0.** Импорт библиотек

```jsx
from rudalle.pipelines import generate_images, show, super_resolution, cherry_pick_by_clip
from rudalle import get_rudalle_model, get_tokenizer, get_vae, get_realesrgan, get_ruclip
from rudalle.utils import seed_everything

device = 'cuda'
dalle = get_rudalle_model('Malevich', pretrained=True, fp16=True, device=device)

realesrgan = get_realesrgan('x4', device=device)
tokenizer = get_tokenizer()
vae = get_vae().to(device)
ruclip, ruclip_processor = get_ruclip('ruclip-vit-base-patch32-v5')
ruclip = ruclip.to(device)
```

**Шаг 1.** Генерация изображения по тексту:

```jsx
text = 'озеро в горах, а рядом красивый олень пьет воду'
seed_everything(42)
top_k=1024
top_p=0.99,
images_num=24
images, scores = generate_images(text, tokenizer, dalle, vae, top_k=top_k, images_num=images_num, top_p=top_p)

show([image for image, score in sorted(zip(images, scores), key=lambda x: -x[1])] , images_num)
```

Результат:

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_2.png)


💡 подсказка: Вы можете делать перебор параметров top_k и top_p, меняя степень абстрактности изображения. Рекомендуемые параметры:  top_k=0, top_p=0.95 ; top_k=1000, top_p=0.95 ; top_k=1536, top_p=0.99



**Шаг 2.** Выбираем лучшие изображения:

```jsx
top_images, clip_scores = cherry_pick_by_clip(images, text, ruclip, ruclip_processor, device=device, count=6)
show(top_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_3.png)

**Шаг 3.** SuperResolution

```jsx
sr_images = super_resolution(top_images, realesrgan)
show(sr_images, 3)
```

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_4.png)

Готово!

## KF Serving API

```jsx
import base64
import requests
from io import BytesIO
from IPython.display import display
from PIL import Image

response = requests.post(
    'http://localhost:8080/v1/models/kfserving-default:predict', 
    json={
        "instances": [
            {
                "text": "пейзаж со снежными горами и озером розового цвета", 
                "top_k": 1500,
                "top_p": 0.99,
                "images_num": 4,
                "rerank_top": 2,
                "hi_res": True
            }
        ]
    })
for imgtext in response.json()['images']:
    msg = base64.b64decode(imgtext.encode('ascii'))
    img = Image.open(BytesIO(msg))
    display(img)
```

### Галерея примеров:

Разные цветы

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_5.png)

Красивый закат над морем

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_6.png)

кресло в форме авокадо

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_7.png)

Деревянная кровать в спальне

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_8.png)

Фото китайской еды

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_9.png)

Современное кресло фиолетового цвета

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_10.png)

### **Самая большая вычислительная задача в России**

На платформе Cloud.ru ML Space и суперкомпьютере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. 
Самая большая обученная модель ruDALL-E XXL (12 миллиардов параметров) сравнима с английской [DALL-E](https://openai.com/blog/dall-e/) от OpenAI!

Попробуйте быструю генерацию в приложении [Салют](https://sberdevices.ru/app/). Для активации навыка скажите «Включи художника». Или попробуйте Телеграм бота [@sber_rudalle_xl_bot](https://t.me/sber_rudalle_xl_bot)

### Дисклеймер

При использовании модели ruDALL-E XL 1.3B ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной модели.

Русская text-to-image модель, 1.3 млрд параметров

**Zero-Shot Text-to-Image Generation**

Русская text-to-image модель, генерирующая изображения по тексту, 1.3 млрд параметров. 

ruDALL-E XL 1.3B + ruCLIP

ruDALL-E XL 1.3B

### **Новости**

- [Habr: ruDALL-E - генерируем изображения по текстовому описанию, или Самый большой вычислительный проект в России](https://habr.com/ru/company/sberbank/blog/586926/)
- [VC: Вы синиц показываете? Красивое!: что сгенерировали пользователи с помощью нейросети ruDALL-E](https://vc.ru/dev/314812-vy-sinic-pokazyvaete-krasivoe-chto-sgenerirovali-polzovateli-s-pomoshchyu-neyroseti-rudall-e-ot-sbera)

### Подробнее **о модели**

Примеры кода с использованием модели: [GitHub](https://github.com/sberbank-ai/ru-dalle)

Статья OpenAI: [ссылка](https://arxiv.org/pdf/2102.12092.pdf)

Галерея ruDALL-E: [ссылка](https://rudalle.ru/)

### **Применение**

Генерация изображений решает две важные задачи, которые не может решить поиск: 

* позволяет учесть точное описание желаемого

* создаёт изображение, которое раньше не существовало. 

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Код в деплое решает следующие задачи:

1. генерация изображений по текстовому описанию
2. выбор (ранжирование) самого релеватного и качественного изображения из сгенерированных с помощью модели ruCLIP
3. увеличение разрешения изображения в 2, 4, 8 раз - super resolution 

Пример: "*шикарная гостиная с зелеными креслами у окна"*

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_xl_1.png)

### Описание работы с моделью

**Шаг 0.** Создание деплоя

**Шаг 1.** Обращение к API

```jsx
import base64
import requests
from io import BytesIO
from IPython.display import display
from PIL import Image

response = requests.post(
    'http://localhost:8080/v1/models/kfserving-default:predict', 
    json={
        "instances": [
            {
                "text": "пейзаж со снежными горами и озером розового цвета", 
                "top_k": 1500,
                "top_p": 0.99,
                "images_num": 4,
                "rerank_top": 2,
                "hi_res": True
            }
        ]
    })
for imgtext in response.json()['images']:
    msg = base64.b64decode(imgtext.encode('ascii'))
    img = Image.open(BytesIO(msg))
    display(img)
```

Результат:

![Untitled (1).png](https://cdn.cloud.ru/backend/marketplace/ai/dalle_12b_2.png)


💡 подсказка: Вы можете делать перебор параметров top_k и top_p, меняя степень абстрактности изображения. Рекомендуемые параметры:  top_k=1536, top_p=0.98; top_k=1000, top_p=0.95; top_k=0, top_p=0.95



Пример минимального вызова:

```jsx
response = requests.post('http://localhost:8080/v1/models/kfserving-default:predict',  
	json={"instances": [{"text": "рыжий котик"}]})
imgtext = response.json()['images'][0].encode('ascii')
display(Image.open(BytesIO(base64.b64decode(imgtext))))
```

### Галерея примеров:

"шикарная гостиная с зелеными креслами у окна", top_k=1400, top_p=0.97

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_12b_3.png)

"Рыжик котик" + ruCLIP

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_12b_4.png)

"современное кресло фиолетового цвета" + ruCLIP

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_12b_5.png)

"деловой человек, работающий на ноутбуке" + ruCLIP

![Untitled](https://cdn.cloud.ru/backend/marketplace/ai/dalle_12b_6.png)

### **Самая большая вычислительная задача в России**

На платформе Cloud.ru ML Space и суперкомпьютере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. 
Самая большая обученная модель ruDALL-E XXL (12 миллиардов параметров) сравнима с английской [DALL-E](https://openai.com/blog/dall-e/) от OpenAI!

Попробуйте быструю генерацию в приложении [Салют](https://sberdevices.ru/app/). Для активации навыка скажите «Включи художника». Или попробуйте Телеграм бота [@sber_rudalle_xl_bot](https://t.me/sber_rudalle_xl_bot)

### Дисклеймер

При использовании модели ruDALL-E XXL 12B ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной модели.

Русская text-to-image модель, генерирующая изображения по тексту

**Zero-Shot Text-to-Image Generation**

Русская text-to-image модель, генерирующая изображения по тексту, 12 млрд параметров.

ruDALL-E XXL 12B + ruCLIP + SuperResolution

ruDALL-E XXL 12B

### **Продолжение текста (Generation)**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст, дополняя его. В примерах ниже ответ модели при генерации выделен *курсивом*:

Диалоговые системы

system: Добрый день! Чем могу помочь?

user: Добрый день! С утра не работает интернет. Тариф 500мбит

system: *хорошо, сейчас попробуем исправить. Ждите.*

Рекомендательные системы с нуля

"Физик Максим, 28 лет, больше всего любит фильмы: *«Улица Сезам», «Матрица».*

Тематическая классификация текстов

Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари»

Категория: *Новости науки, техника и технологии.*

### Пример запуска генерации

```jsx
#!/bin/bash
script_path=$(realpath $0)
script_dir=$(dirname $script_path)
config_json="$script_dir/path/to/config/gpt3_13b_sparse.json"
mpirun --np 1 python ${script_dir}/../../generate.py \
 --load-weights-only /path/to/checkpoint/ \
 --tokenizer-path /path/to/tokenizer \
 --fp16 \
 --make-vocab-size-divisible-by 16 \
 --model-parallel-size 1 \
 --num-layers 40 \
 --hidden-size 5120 \
 --num-attention-heads 40 \
 --batch-size 4 \
 --seq-length 512 \
 --max-position-embeddings 2048 \
 --temperature 0.9 \
 --top_k 0 \
 --top_p 0.95 \
 --sparse-mode alternating \
 --fix-sparsity-layout 4 \
 --deepspeed \
 --deepspeed_config ${config_json}
```

Colab-ноутбук с примером [генерации](https://github.com/sberbank-ai/ru-gpts/blob/master/examples/ruGPT3XL_generation.ipynb) 

### Возможные примеры работы с затравками

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и ихкорректных продолжений, затем целевая затравка.

**Совет:** чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`,`<|endoftext|>`,`<s>`,`</s>`, вы можете использовать для форматирования своих примеров.

**Совет:** рассчитывайте количество примеров в few-shot таким образом, чтобы не выйти за максимальную длину последовательности контеката - 2048 токенов.

### Подробнее о ruGPT-3

[Демо](https://russiannlp.github.io/rugpt-demo/) ruGPT-3 XL с UI

[GitHub](https://github.com/sberbank-ai/ru-gpts) с примерами кода по использованию модели [](https://github.com/sberbank-ai/ru-gpts)

vc.ru: [рассказываем о применимости для бизнеса](https://vc.ru/sber/171679-sber-vylozhil-russkoyazychnuyu-model-gpt-3-large-s-760-millionami-parametrov-v-otkrytyy-dostup)

Habr (tutorial): [Тестируем ruGPT-3 на новых задачах](https://habr.com/ru/company/sberbank/blog/528966/) 

Habr, статья про обучение модели: [Русскоязычная модель GPT-3 Large с 760 миллионами параметров в открытом доступе](https://habr.com/ru/company/sberbank/blog/524522/)

Habr, статья про кейсы применения модели: [Всё, что нам нужно — это генерация](https://habr.com/ru/company/sberbank/blog/550056/)

Вебинар, спикер Татьяна Шаврина: [Разбираем кейсы реального применения ruGPT-3](https://www.youtube.com/watch?v=rm5HlJy73WE&t=55s)

Вебинар, спикер Татьяна Шаврина: [Полный цикл дообучения ruGPT-3 на платформе Cloud.ru ML Space и примеры рыночных кейсов](https://www.youtube.com/watch?v=mh7CGsxYciM)

Модель ruGPT-3 13B обучена и развёрнута с помощью платформы Cloud.ru ML Space и суперкомпьютера «Christofari» от Cloud.ru.

Архитектура нейросети ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от [OpenAI](https://arxiv.org/abs/2005.14165).

### **Дообучение моделей ruGPT-3 Large и ruGPT-3 XL (Fine-tuning)**

Дообучение с использованием GPU осмысленно в 4 случаях:

1. вы работаете с данными в редком формате, модель не могла их увидеть при предобучении. *Пример: вы хотите генерировать скрипты на brainfuck*
2. задача требует высокой степени обобщения, в обучающей выборке таких примеров скорее всего не было. *Пример: машинный перевод с русского на маратхи*
3. задача требует очень специфических знаний, мало представленных в интернете. *Пример: автосоставление документации для сталилитейного завода* 
4. вы опробовали все форматы few-shot, и без дообучения ничего не выходит. Как показывает [это исследование](https://arxiv.org/pdf/2102.09690.pdf), качество few-shot сильно зависит от баланса классов в примерах few-shot, порядке следования примеров. 

Скрипт с примером [дообучения](https://github.com/sberbank-ai/ru-gpts/blob/master/scripts/deepspeed_gpt3_xl_finetune.sh) модели XL 

### Дисклеймер

При использовании модели ruGPT-3 13B ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного сервиса.

Генерация текста на любые темы, 13 млрд параметров

Russian Generative Pretrained Transformer-3, 13 млрд параметров

Современная модель генерации текста для русского языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165).

Модель ruGPT-3 13B содержит 13 миллиардов параметров и способна продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов + используется реализация sparse attention из [DeepSpeed](https://github.com/microsoft/DeepSpeed).

ruGPT-3 13B

### **Продолжение текста (Generation)**

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст, дополняя его. В примерах ниже ответ модели при генерации выделен *курсивом*:

Диалоговые системы

system: Добрый день! Чем могу помочь?

user: Добрый день! С утра не работает интернет. Тариф 500мбит

system: *хорошо, сейчас попробуем исправить. Ждите.*

Рекомендательные системы с нуля

"Физик Максим, 28 лет, больше всего любит фильмы: *«Улица Сезам», «Матрица».*

Тематическая классификация текстов

Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари»

Категория: *Новости науки, техника и технологии.*

Пример запуска генерации:

```jsx
from src.xl_wrapper import RuGPT3XL
gpt = RuGPT3XL.from_pretrained("sberbank-ai/rugpt3xl", seq_len=512)

def filter_resuls(nr):
 return [x[:x.find("<|endoftext|>")] for x in nr]

filter_resuls(gpt.generate(
 "Кто был президентом США в 2020? ",
 max_length=50,
 no_repeat_ngram_size=3,
 repetition_penalty=2.,
))
```

Возможные примеры работы с затравками:

- zero-shot - подается только начало текста (затравка), которое модели нужно продолжить
- one-shot - подается пример 1 затравки, спецтокен и корректного продолжения, через новую строку - целевая затравка, которую нужно продолжить
- few-shot - несколько примеров затравок и ихкорректных продолжений, затем целевая затравка.

**Совет:** чтобы улучшить качество работы систем one-shot и few-shot, ознакомьтесь со спецтокенами модели в словаре токенизатора. Такие токены, как `<pad>`,`<|endoftext|>`,`<s>`,`</s>`, вы можете использовать для форматирования своих примеров.

**Совет:** рассчитывайте количество примеров в few-shot таким образом, чтобы не выйти за максимальную длину последовательности контеката - 2048 токенов.

Colab-ноутбук с примером [генерации](https://github.com/sberbank-ai/ru-gpts/blob/master/examples/ruGPT3XL_generation.ipynb) 

### **Дообучение модели (Fine-tuning)**

Дообучение с использованием GPU осмысленно в 4 случаях:

1. вы работаете с данными в редком формате, модель не могла их увидеть при предобучении. *Пример: вы хотите генерировать скрипты на brainfuck*
2. задача требует высокой степени обобщения, в обучающей выборке таких примеров скорее всего не было. *Пример: машинный перевод с русского на маратхи*
3. задача требует очень специфических знаний, мало представленных в интернете. *Пример: автосоставление документации для сталилитейного завода* 
4. вы опробовали все форматы few-shot, и без дообучения ничего не выходит. Как показывает [это исследование](https://arxiv.org/pdf/2102.09690.pdf), качество few-shot сильно зависит от баланса классов в примерах few-shot, порядке следования примеров. 

Пример базового дообучения модели с помощью кода из [репозитория](https://github.com/sberbank-ai/ru-gpts) 

```jsx
#! /bin/bash

NUM_GPUS_PER_WORKER=1

gpt_options=" \
 --train-data-path /path/2/train/data/files.list \
 --max-files-per-process 20000 \
 --logging-dir=/path/2/log/dir \
 --load-huggingface sberbank-ai/rugpt3xl \
 --save /path/2/save/model \
 --tokenizer-path sberbank-ai/rugpt3xl \
 --cache-prefix p5 \
 --save-interval 500 \
 --no-load-optim \
 --finetune \
 --log-interval 100 \
 --model-parallel-size 1 \
 --num-layers 24 \
 --hidden-size 2048 \
 --num-attention-heads 16 \
 --batch-size 2 \
 --seq-length 2048 \
 --max-position-embeddings 2048 \
 --train-iters 20000 \
 --distributed-backend nccl \
 --lr 0.000015 \
 --warmup 0.0 \
 --lr-decay-style constant \
 --weight-decay 1e-2 \
 --fp16 \
 --sparse-mode alternating \
 --checkpoint-activations \
 --deepspeed-activation-checkpointing \
 --deepspeed \
 --deepspeed_config ../src/deepspeed_config/gpt3_xl_sparse_2048.json \
"

run_cmd="USE_DEEPSPEED=1 mpirun --np ${NUM_GPUS_PER_WORKER} python ../pretrain_gpt3.py $@ ${gpt_options}"
echo ${run_cmd}
eval ${run_cmd}

set +x
```

**Совет:** отформатируйте текстовые данные для дообучения такм образом, чтобы прдать им структуру: используйте переносы строк `\n`, чтобы отделить разные обучающие примеры друг от друга, используйте спецтокены, чтобы обозначить начало и конец примера, токен-сепаратор, чтобы обозначить конец затравки и начало генерации. 

Скрипт с примером [дообучения](https://github.com/sberbank-ai/ru-gpts/blob/master/scripts/deepspeed_gpt3_xl_finetune.sh)

### Подробнее о ruGPT-3

[Демо](https://russiannlp.github.io/rugpt-demo/) ruGPT-3 XL с UI

[GitHub](https://github.com/sberbank-ai/ru-gpts) с примерами кода по использованию модели [](https://github.com/sberbank-ai/ru-gpts)

vc.ru: [рассказываем о применимости для бизнеса](https://vc.ru/sber/171679-sber-vylozhil-russkoyazychnuyu-model-gpt-3-large-s-760-millionami-parametrov-v-otkrytyy-dostup)

Habr (tutorial): [Тестируем ruGPT-3 на новых задачах](https://habr.com/ru/company/sberbank/blog/528966/) 

Habr, статья про обучение модели: [Русскоязычная модель GPT-3 Large с 760 миллионами параметров в открытом доступе](https://habr.com/ru/company/sberbank/blog/524522/)

Habr, статья про кейсы применения модели: [Всё, что нам нужно — это генерация](https://habr.com/ru/company/sberbank/blog/550056/)

Вебинар, спикер Татьяна Шаврина: [Разбираем кейсы реального применения ruGPT-3](https://www.youtube.com/watch?v=rm5HlJy73WE&t=55s)

Вебинар, спикер Татьяна Шаврина: [Полный цикл дообучения ruGPT-3 на платформе Cloud.ru ML Space и примеры рыночных кейсов](https://www.youtube.com/watch?v=mh7CGsxYciM)

Модель ruGPT-3 обучена и развёрнута с помощью платформы Cloud.ru ML Space и суперкомпьютера «Christofari» от Cloud.ru.

Архитектура нейросети ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от [OpenAI](https://arxiv.org/abs/2005.14165).

### Дисклеймер

При использовании модели ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной модели.

Современная модель генерации текста для русского языка на основе архитектуры GPT-3 от [OpenAI](https://arxiv.org/abs/2005.14165).

Модель ruGPT-3 XL содержит 1,3 миллиарда параметров. 

Длина контекста модели составляет 2048 токенов + используется реализация разреженного внимания из [DeepSpeed](https://github.com/microsoft/DeepSpeed) 

Онлайн-демо c UI: [ссылка](https://russiannlp.github.io/rugpt-demo/)

Модель была обучена с длиной контекста 512 с использованием кода [Deepspeed](https://github.com/microsoft/DeepSpeed)  и [Megatron](https://github.com/NVIDIA/Megatron-LM) на датасете 80B токенов за 4 эпохи. После этого модель была дообучена на 1 эпохе с длиной контекста 2048.

- *Примечание! У модели есть блоки sparse attention*

Общее время обучения составило около 10 дней на 256 GPU. Окончательная перплексия на тестовой выборке  `12.05`.

Карточка модели [HuggingFace](https://huggingface.co/sberbank-ai/rugpt3xl)

ruGPT-3 XL

Модель построена на базе и обучена на наборе данных MultiNLI. Модель поддерживает 9 языков (ru, de, en, es, fr, it, nl, pl, pt)

## Возможности

Модель позволяет классифицировать текст без обучения и может работать в режиме Multiclass-классификации или в режиме Multi-label.

Multiclass classification (многоклассовая классификация) - частный случай задачи классификации, при которой требуется классифицировать объекты в более чем один из двух классов.

Multi-label classification (многотемная классификация) - один из видов задач классификации, где каждому примеру необходимо присвоить сразу несколько меток принадлежности к определенному классу.

## Примеры бизнес-сценариев

1. Сортировка документов по папкам и категориям
2. Распределение обращений пользователей по исполнителям
3. Классификация обращений по типу обращения
4. Классификация текстового контента по категориям на основе содержания

### Специфика

Любые пожелания и требования по доработке сервиса под вашу конкретную бизнес-задачу (на базе ваших данных) приветствуются.

### Пример взаимодействия

После того как вы запустили модель, получили адрес и создали API-токен для запросов, можно начать делать запросы на классификацию.

## Форма запроса:

``` 
{
 "instances": [
{ "text": "Текст для классификации", 
 "label": ["Класс 1", "Класс 2"], // Список классов через запятую 
 "multilabel": false // Флаг для Multi-Label классификации }
 ]
}
```

## Форма ответа:

``` 
{
 "predictions":
{ "sequence": "Текст для классификации", "labels": ["Класс 1", "Класс 2"], "scores": [0.6, 0.2] }
}
``` 

## Пример запроса на Python:

``` 
import requests

BASE_URL = "https://mlspace.aicloud.sbercloud.ru/deployments/<region>/<deploy_name>/v1/models/<deploy_name>:predict"

res = requests.post(BASE_URL,
 json={"instances":[
{ "text": "Жителям северных территорий Хабаровского края предоставят субсидии на развитие оленеводства, сообщили в пресс-службе правительства региона", "label": ["новости","документы"], "multilabel": False }
]},
 headers=
{ "x-workspace-id": "<your_workspace_id>", "content-type":"application/json", "x-api-key":"<your_api_key>" }
)
``` 

## Подключение

Для работы с сервисом необходимо нажать кнопку Создать деплой и выбрать параметры инфраструктуры (Подробнее о [параметрах](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html), о [тарификации](https://cloud.ru/docs/aicloud/mlspace/concepts/general-info__tariffs.html#deployments)). К деплою можно отправлять запросы на [хост](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__working-with-models__deployment.html) + <ins>для целевого использования модели. REST API сервиса использует протокол HTTP для отправки данных и ответы в формате JSON. HTTP-запросы можно исполнить из консоли с помощью инструмента командной строки</ins> [curl](https://everything.curl.dev/libcurl-http/requests) `{+}`.

Инструкция отправка HTTP-запросов к сервису доступна по [ссылке](https://cloud.ru/docs/aicloud/mlspace/concepts/deployments__send-http-requests-to-service.html).

Популярное

О нас

Карьера в Cloud.ru

Новости

Юридические документы

Контакты

Полезные разделы

Партнерство с Cloud.ru

Кейсы

Решения

Архитектурный центр

Безопасность

Облачные платформы Cloud.ru

Evolution

Advanced

ML Space

Облако VMware

Полезные разделы

Блог

Обучение и сертификация

Вебинары

Исследования Cloud.ru

AI & ML