Рекомендательная система веб-сайта в облаке Advanced
Решение для разработки и размещения в облаке Advanced рекомендательной системы веб-сайта реализуется с применением технологии машинного обучения на платформе Distributed Train и с использованием контента, генерируемого пользователями.
Данное решение позволяет разместить в облаке Advanced рекомендательную систему веб-сайта, который обеспечивает следующие возможности:
-
Выполнение анализа пользовательского контента для выработки рекомендаций пользователям.
-
Возможность разработки и внедрения сервисов, которые позволят повысить эффективность использования облачной инфраструктуры.
-
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
Разработка и размещение рекомендательной системы веб-сайта в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
---|---|
| Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании технологии машинного обучения на основании контента, генерируемого пользователями. Модели ИИ для машинного обучения размещаются на платформе Distributed Train.
- Предварительные требования:
-
В тенанте облака Advanced должны быть созданы бакеты в сервисе OBS с необходимой зоной доступности (Single-AZ или Multi-AZ).
-
К платформе Distributed Train должны быть настроен доступ для ML-разработки полного цикла и совместной работы DS-команд над созданием и развертыванием моделей машинного обучения.
-
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
- Компоненты решения:
-
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
-
Реляционная база данных для хранения данных веб-сайта на базе сервиса RDS.
-
Хранилище данных на базе сервиса DWS для результатов аналитики рекомендательной системы.
-
Кеширование запросов на базе решения Redis сервиса DCS.
-
Хранилище логов событий на базе решения Elasticsearch сервиса CSS.
-
ETL-сервис DLI.
-
Компонент CDM сервиса DataArts Studio.
-
Платформа Distributed Train для обучения моделей.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Для загрузки обработанных данных и последующей передачи на вход обучения моделей используется сервис объектного хранилища данных OBS.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Обеспечение высокой доступности достигается расположением серверов в разных зонах доступности облака Advanced.
Реализация
Список последовательных действий при настройке решения:
-
Создание VPC.
-
Создание подсетей (Subnet) для приложений и баз данных.
-
Создание групп безопасности (Security Group) для приложения и баз данных.
-
Создание NAT Gateway для выхода сервисов в интернет.
-
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
-
Создание инстанса баз данных RDS в высокодоступной Multi-AZ типа Master/Standby.
-
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
-
Создание инстанса в сервисе аналитики DWS.
-
Создание инстанса Redis в сервисе DCS.
-
Создание инстанса Elasticsearch в сервисе CSS.
-
Создание бакета в сервисе OBS для хранения результатов обработки моделей машинного обучения.
-
Создание инстанса CDM в сервисе DataArts Studio.
-
Загрузка образов контейнеров в сервис SWR.
-
Настройка очереди обработки ETL в сервисе DLI.
-
Создание публичного адреса EIP для доступа к рекомендательной системе веб-сайта через интернет.
-
Настройка сервисов WAF.
-
Настройка сервисов Anti-DDOS.
-
Обучение модели ИИ на платформе Distributed Train.
-
Запуск решения в облаке Advanced.
- Общая схема
- Описание решения
- Реализация