Russian Generative Pretrained Transformer-3,5 13 млрд параметров (ruGPT3,5 13B) — это новая версия нейросети ruGPT-3 13B, которая ранее была доступна разработчикам в Cloud.ru: https://cloud.ru/ru/datahub/rugpt3family/rugpt-3-13b

Современная модель генерации текста для русского языка на основе архитектуры GPT-3 от OpenAI.

Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и способна продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов + используется реализация sparse attention из DeepSpeed. Это наша самая большая модель, которая является претрейном GigaChat. Подробнее о модели можно прочитать в статье.

Это декодерная модель, обученная на корпусе данных в 300Gb. Корпус содержит несколько доменов, включающих в себя книги и новости на русском и английском языках, разговорную речь, научные статьи и т.д. Говоря простым языком, это сотни тысяч книг, документов, статей и прочего.

Обучалась эта модель около полутора месяцев на 512 GPU V100.

Дополнительно, чтобы добавить актуальные знания в модель и улучшить её способности на отдельных доменах модель дообучили на расширенной версии датасета, в который вошли юридические документы, часть The Stack (открытый сет с кодом) от коллаборации исследователей BigCode, обновленные версии Википедии и новости. Дообучение заняло около 3-х недель и производилось на 200 GPU A100.

Лицензия MIT

Размер файлов 52.1 GB

Версия 0.1

Структура датасета представлена на схеме:

Продолжение текста (Generation)

Базовое использование модели подразумевает работу с уже обученной моделью в режиме инференса. Модель умеет продолжать переданный текст, дополняя его. Например, ей можно написать промпт, чтобы модель сгенерировала продолжение:

• Диалоговые системы

  system: Добрый день! Чем могу помочь?

  user: Добрый день! С утра не работает интернет. Тариф 500мбит

  system: ….

• Рекомендательные системы с нуля

  "Физик Максим, 28 лет, больше всего любит фильмы: …. .

• Тематическая классификация текстов

  Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари»

Подробнее о ruGPT-3.5

• Анонс на Хабре претрейна ruGPT3.5
• Статья на Хабре про Гигачат
• Hugging Face карточка и модель в открытом доступе

Дисклеймер

При использовании модели ruGPT-3.5 13B ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данного сервиса.