Возможности

Модель генеративной проверки орфографии переписывает текст без ошибок, не исправляя при этом там, где этого не требуется, сленг, особенности диалектов, сокращения и аббревиатуры. Опечаточник был обучен на базе генеративной модели M2M100 в два этапа. Вначале модель обучалась на обширном датасете с “искусственными” ошибками: корпус был собран на основе русскоязычной википедии и транскриптов русскоязычных видео, затем в него автоматически внедрили опечатки и орфографические ошибки. На заключительном этапе корректор обучался на комбинации из двух датасетов, содержащих “человеческие” ошибки и синтетически сгенерированные.

Преимущества нашего решения

Консистентный перенос стиля

На данный момент коррекция орфографических ошибок в большинстве случаев сопряжена с приведением всех слов в тексте к норме языка, что приводит к нежелательным с точки зрения пользователя исправлениям, как, например, тут:

ОМГ, какооооой фильм, сто проц побегу смотртеь → ???, какой фильм, сто процентов побегу смотреть

Мы постарались научить модель отличать случайную опечатку или ошибку от намеренного искажения нормы: на последней стадии обучения модели подавались пары текстов, где вручную экспертами были исправлены только ненамеренные ошибки, чтобы в итоге получалось исправлять именно ошибки:

ОМГ, какооооой фильм, сто проц побегу смотртеь → ОМГ, какооооой фильм, сто проц побегу смотреть

Устойчивость к текстам из разных источников

Модель обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей, различные варианты форматирования и символы:

• Новости;
• Социальные сети;
• Отзывы;
• Субтитры;
• Открытый интернет;
• Блоги и статьи;

Статьи и выступления

• Рассказ про библиотеку SAGE, DataFest 2023
• Статья про методы генерации синтетических ошибок, Dialogue 2023
• Статья про SAGE и наше лучшее решение, Review EACL 2024

Примеры работы

Метрики

Качество

Ниже представлены автоматические метрики для определения корректности работы спелл-чекеров. Мы приводим сравнение нашего решения как с открытыми автоматическими спелл-чекерами, так и с семейством моделей ChatGPT на всех четырёх имеющихся датасетах:

• RUSpellRU: тексты, собранные из ЖЖ (ЖивойЖурнал), с вручную исправленными опечатками и ошибками;
• MultidomainGold: примеры из 7 текстовых источников, включая открытый интернет, новости, социальные сети, отзывы, субтитры, стратегические документы и литературные произведения;
• MedSpellChecker: тексты с ошибками из медицинских анамнезов;
• GitHubTypoCorpusRu: орфографические ошибки и опечатки в коммитах на GitHub;

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

Текущие ограничения

• Можно загружать текст длиной до 1000 символов;
• Модель не исправляет пунктуационные ошибки, пунктуация остаётся авторской;
• Текущее решение поддерживает только русский язык.

Будущие возможности

Сервис развивается, запланированы следующие улучшения: Поддержка пунктуации и форматирования. Мы планируем добавить правку не только орфографических ошибок, но также пунктуации и форматирования. Поддержка нескольких языков. Постепенно будем внедрять другие, отличные от русского, языки, включая европейские языки, языки СНГ, а также малые языки России.

Инструкция по использованию

Входные параметры:

# обязательный параметр:
`text` - оригинальный текст для исправления. Непустая строка не длиннее 1000 символов.

Запрос выглядит следующим образом:

{"instances": [{"text": "text"}] }

На выходе:

{'comment': ['OK'],
'origin': 'тест с ошыбкой',
'predictions': 'тест с ошибкой',
'success': True,
'version': '1.0.0'}

Ресурсы

• Код библиотеки SAGE с методами аугментации, доступом к датасетам и открытым моделям, GitHub
• Открытая модель M2M100-1.2B после первой фазы обучения, HuggingFace
• Открытая модель M2M100-418M после первой фазы обучения, HuggingFace
• Открытая модель FredT5-large после первой фазы обучения, HuggingFace
• Открытая модель T5-large после первой фазы обучения для английского языка, HuggingFace

Лицензирование

Модель M2M100-1.2B, на основе которой сделан сервис, и её исходный код поставляются на основе открытой лицензии MIT. Сервис генеративной проверки орфографии является проприетарной разработкой, для его использования необходимо заключить договор с ML Space / Cloud.ru.