Cloud.ru и AI: как мы поддержали выход Wildberries на новый рынок

Wildberries — самый крупный по обороту маркетплейс в России. Доставляет заказы в несколько стран, в том числе Беларусь, Казахстан и Армению. В октябре 2024 года маркетплейс запустил продажи на одном из новых рынков. Перед выходом на новый рынок Wildberries предстояло быстро реализовать несколько важных проектов:

●      автоматизировать перевод карточек товаров на местный и английский языки;

●      дообучить и запустить русскоязычную LLM на закрытом GPU-кластере;

●      разработать классификатор товаров по кодам ТН ВЭД;

●      протестировать собственную гипотезу и построить прогноз.

AI-технологии требуют постоянно обучать языковые модели и проверять их качество. Для этого компании нужны ресурсы, особенно графические процессоры (GPU), объединенные в кластеры так, чтобы параллельно, а значит быстрее, обучать одну языковую модель.

Арендовать инфраструктуру с GPU выгодней, чем покупать и содержать ее самостоятельно. Одно из решений — обратиться к облачному провайдеру, который предоставляет вычислительные мощности и ML-сервисы с разными моделями и конфигурациями графических процессоров. Кроме возможности выбора GPU, у клиента в облаке есть и финансовое преимущество: ему не нужны большие начальные инвестиции в аппаратное обеспечение, при этом платить он будет только за используемые ресурсы.

Wildberries обучал свои языковые модели на GPU в облаке Cloud.ru. Так он оптимизировал финансовые затраты, в несколько раз быстрее реализовал запланированные проекты, а его IT-команда получила инструмент, чтобы решать сразу несколько задач.

Перевел карточки товаров с отзывами на местный и английский языки

Задача перевести карточки товаров на другой язык в теории тривиальная, а на практике нет. Сложность была в том, что местный язык на новом рынке распространен не так как английский, а у карточек товаров есть особенности в стилистике и терминологии.

Wildberries переводил карточки с помощью LLM, но сначала модель дообучили на специфическом корпусе текстов. Альтернативой большой языковой модели мог бы стать готовый сторонний сервис, но по расчетам он обошелся бы дороже, особенно если учитывать также перевод отзывов о товарах. А собственная дообученная языковая модель позволила сократить затраты и повысить качество перевода.

Дообучил и запустил русскоязычную большую языковую модель

Большая языковая модель может провести автоматическую разметку данных для обучения более простых моделей. Такой сценарий подходит, например, для классификатора кодов товарной номенклатуры внешнеэкономической деятельности (ТН ВЭД). Маркетплейс разработал классификатор кодов с помощью LLM, доступ к которой предоставил Cloud.ru — это ускорило процесс и повысило точность моделей.

Автоматизировал выбор кода ТН ВЭД

Товар, который отправляется за границу, должен иметь таможенный код. Часто продавцы ошибаются: указывают неверный код и из-за этого рискуют получить штраф и нереализованный товар.

Wildberries автоматизировал выбор таможенного кода, используя языковую модель. Сначала с помощью LLM он сформировал обучающую выборку и провел инференс модели на мощных GPU в облаке. На базе этой выборки построил более простую модель, которая работает уже на обычных процессорах (CPU). Эта модель определяет код ТН ВЭД по описанию в карточке товара.

Оптимизировал тестирование гипотез и построение прогнозов

Команде дата-сайентистов нужен большой объем ресурсов, чтобы проверять гипотезы и строить прогнозы. Они используют облачные решения Cloud.ru, чтобы подтвердить или опровергнуть свои предположения. Выгода в том, что облачный провайдер оперативно выделяет необходимые вычислительные мощности и маркетплейсу не нужно закупать дополнительное оборудование.

Wildberries оперативно получил эластичную инфраструктуру, что стало ключевым фактором в оперативном решении бизнес-задач. Компания смогла быстрее выйти на новый рынок и в несколько раз снизить затраты на подготовку благодаря использованию облачных мощностей с GPU. Гибкость и сокращенный time to market — основные результаты сотрудничества Wildberries и Cloud.ru.