ruM2M100-1.2B

Модели-корректоры

• ruM2M100-1.2B;
• ruM2M100-418M;
• FredT5-large;
• T5-large: коррекция орфографии на английском языке;
• 🔥 Сервис “Генеративная проверка орфографии”;

Возможности

Модель исправляет орфографические ошибки и опечатки путём приведения всех слов в тексте к норме русского языка.

Корректор был обучен на основе модели M2M100-1.2B. В качестве обучающего корпуса был взят обширный датасет с “искусственными” ошибками: корпус был собран на основе русскоязычной википедии и транскриптов русскоязычных видео, затем в него автоматически внедрили опечатки и орфографические ошибки с помощью функционала библиотеки SAGE.

Преимущества нашего решения

Устойчивость к высокой плотности ошибок

Во время обучения, модели на “вход” подавались пары текстов, где один из текстов содержал ошибки и опечатки, а второй был корректным. При формировании текстов с ошибками, мы добавляли в 10 раз больше ошибок, чем в среднем содержится в предложениях, чтобы модель умела исправлять даже самые запутанные случаи, как, например, такой:

Думю ешцъа лет череа 10 ретроспективно просматривотьэ то будкетцц мне невероя тна ин те р но

Устойчивость к текстам из разных источников

Обучающий корпус для модели был собран из нескольких текстовых доменов:

• Русскоязычная википедия;
• Транскрипты видео;

Статьи из википедии и тексты видео покрывают широкий спектр возможных словоформ, с которыми модель может столкнутся во время работы.

Статьи и выступления

• Рассказ про библиотеку SAGE, DataFest 2023
• Статья про методы генерации синтетических ошибок, Dialogue 2023
• Статья про SAGE и наше лучшее решение, Review EACL 2024

Примеры работы

Метрики

Качество

Ниже представлены автоматические метрики для определения корректности работы спелл-чекеров. Мы приводим сравнение нашего решения как с открытыми автоматическими спелл-чекерами, так и с семейством моделей ChatGPT на всех четырёх имеющихся датасетах:

• RUSpellRU: тексты, собранные из ЖЖ (ЖивойЖурнал), с вручную исправленными опечатками и ошибками;
• MultidomainGold: примеры из 7 текстовых источников, включая открытый интернет, новости, социальные сети, отзывы, субтитры, стратегические документы и литературные произведения;
• MedSpellChecker: тексты с ошибками из медицинских анамнезов;
• GitHubTypoCorpusRu: орфографические ошибки и опечатки в коммитах на GitHub;

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

Инструкции по использованию

Использовать модель можно следующим образом:

from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer

path_to_model = "<path_to_model>"

model = M2M100ForConditionalGeneration.from_pretrained(path_to_model)
tokenizer = M2M100Tokenizer.from_pretrained(path_to_model)

sentence = "прийдя в МГТУ я был удивлен никого необноружив там…"

encodings = tokenizer(sentence, return_tensors="pt")
generated_tokens = model.generate(
        **encodings, forced_bos_token_id=tokenizer.get_lang_id("ru"))
answer = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(answer)

# ["прийдя в МГТУ я был удивлен никого не обнаружив там..."]

Ресурсы

• Код библиотеки SAGE с методами аугментации, доступом к датасетам и открытым моделям, GitHub
• ruM2M100-1.2B, HuggingFace
• ruM2M100-418M, HuggingFace
• FredT5-large-spell, HuggingFace
• T5-large-spell, HuggingFace

Лицензирование

Модель M2M100-1.2B, на основе которой сделано наше решение, и её исходный код поставляются на основе открытой лицензии MIT. Наше решение также поставляется на основе лицензии MIT.

Технические характеристики

• Размер файлов: 5 Gb;
• Фреймворк: pytorch
• Tags: spellchecking проверка орфографии NLP M2M100 pytorch natural language generation
• Формат: AI Service
• Версия: v1.0
• Разработчик: AGI NLP