Генеративная проверка орфографии и пунктуации

Возможности

Модель генеративной проверки орфографии и пунктуации переписывает текст без ошибок, не исправляя при этом там, где этого не требуется, сленг, особенности диалектов, сокращения и аббревиатуры. Корректор был обучен на базе генеративной модели FRED-T5 в два этапа. Вначале модель обучалась на обширном датасете с “искусственными” ошибками: корпус был собран на основе русскоязычной википедии и транскриптов русскоязычных видео, затем в него автоматически внедрили опечатки, орфографические и пунктуационные ошибки. На заключительном этапе архитектура обучалась на комбинации из двух датасетов, содержащих “человеческие” ошибки и синтетически сгенерированные.

Преимущества нашего решения

Консистентный перенос стиля

На данный момент коррекция орфографических ошибок в большинстве случаев сопряжена с приведением всех слов в тексте к норме языка, что приводит к нежелательным с точки зрения пользователя исправлениям, как, например, тут:

ОМГ, в новюу версию торча добавли новую механику чекпоинтинга → ???, в новую версию торта добавили новую механику ???

Мы постарались научить модель отличать случайную опечатку или ошибку от намеренного искажения нормы: на последней стадии обучения модели подавались пары текстов, где вручную экспертами были исправлены только ненамеренные ошибки, чтобы в итоге получалось исправлять именно ошибки:

ОМГ, в новюу версию торча добавли новую механику чекпоинтинга → ОМГ, в новую версию торча добавили новую механику чекпоинтинга

*торч, чекпоинтинг - жаргонизмы, принятые в технической среде

Устойчивость к текстам из разных источников

Модель обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей, различные варианты форматирования и символы:

• Новости;
• Социальные сети;
• Отзывы;
• Субтитры;
• Открытый интернет;
• Блоги и статьи;

Статьи и выступления

• Рассказ про библиотеку SAGE, DataFest 2023
• Доклад про модели из SAGE, AI Journey 2023
• Статья про методы генерации синтетических ошибок, Dialogue 2023
• Статья про SAGE и наше лучшее решение, EACL 2024 Malta

Примеры работы

Метрики

Качество

Ниже представлены автоматические метрики для определения корректности работы спелл-чекеров. Пояснения орф., пункт., регистр указывают на метрики, отслеживающие качество исправления соответственно орфографических, пунктуационных ошибок и ошибок, связанных с неверным употреблением регистра. Мы приводим сравнение нашего решения как с открытыми автоматическими спелл-чекерами, так и с семейством моделей ChatGPT на всех четырёх имеющихся датасетах:

• RUSpellRU: тексты, собранные из ЖЖ (ЖивойЖурнал), с вручную исправленными опечатками и ошибками;
• MultidomainGold: примеры из 7 текстовых источников, включая открытый интернет, новости, социальные сети, отзывы, субтитры, стратегические документы и литературные произведения;
• MedSpellChecker: тексты с ошибками из медицинских анамнезов;
• GitHubTypoCorpusRu: орфографические ошибки и опечатки в коммитах на GitHub;

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

*Yandex.Speller, JamSpell и HunSpell не исправляют пунктуационные ошибки и ошибки регистра, поэтому в соответствующих колонках стоит x.

Текущие ограничения

• Можно загружать текст длиной до 1000 символов;
• Текущее решение поддерживает только русский язык.

Будущие возможности

Сервис развивается, запланированы следующие улучшения: Поддержка нескольких языков. Постепенно будем внедрять другие, отличные от русского, языки, включая европейские языки, языки СНГ, а также малые языки России.

Инструкция по использованию

Входные параметры:

# обязательный параметр:
`text` - оригинальный текст для исправления. Непустая строка не длиннее 1000 символов.

Запрос выглядит следующим образом:

{"instances": [{"text": "text"}] }

На выходе:

{'comment': ['OK'],
'origin': 'тест с ошыбкой',
'predictions': 'тест с ошибкой',
'success': True,
'version': '1.0.0'}

Ресурсы

• Код библиотеки SAGE с методами аугментации, доступом к датасетам и открытым моделям, GitHub
• Открытая модель sage-fredt5-large после первой фазы обучения, HuggingFace
• Открытая модель sage-m2m100-1.2B после двух этапов обучения, HuggingFace
• Открытый легковесный аналог лучшего решения sage-fredt5-distilled-95m, HuggingFace
• Открытая модель sage-mt5-large для коррекции орфографии одновременно на русском и английском языках, HuggingFace

Лицензирование

Модель FRED-T5-1.7B, на основе которой сделан сервис, и её исходный код поставляются на основе лицензии MIT. Сервис генеративной проверки орфографии является проприетарной разработкой, для его использования необходимо заключить договор с ML Space / Cloud.ru.