На маркетплейсе платформы ML Space появился инструмент для непрерывного обучения языковых моделей

Поток информации непрерывен, а события в мире напрямую отражаются на языке, в частности — делают высказывания правдивыми или ложными. 

Так языковая модель, обученная в 2021 году  не будет знать, что в 2022-ом Аргентина проиграла матч Саудовской Аравии, соответственно не сможет сгенерировать адекватные высказывания на эту тему.

Molotilka ruGPT-3 large создана для того, чтобы проводить непрерывное обучение языковых моделей с повторением заранее заданных этапов. Например, таких как скачивание актуальных данных из новостных источников, их препроцессинг, создание датасета для дообучения языковой модели и ее оценка на разных задачах. 

В основе сервиса лежит архитектура ruGPT-3, ранее обученная разработчиками на большом корпусе текстов из различных источников. Далее сеть дообучили и модифицировали с использованием технологии adapters, это помогло преодолеть проблему “забывания” знаний.

Данное решение может применяться в следующих случаях:

• стандартное применение ruGPT-3 как языковой модели, обладающей актуальными знаниями о мире;

• создание кастомизированных задач с постоянным дообучением на новых данных: классификация, извлечение информации, диалоговые системы и пр.

Пользователи платформы ML Space, желающие применить сервис для своих задач, могут развернуть деплой модели по кнопке и взаимодействовать с ней по API.