- tocdepth
2
Рекомендательная система веб-сайта в облаке Advanced
Решение для разработки и размещения в облаке Advanced рекомендательной системы веб-сайта реализуется с применением технологии машинного обучения на платформе ML Space и с использованием контента, генерируемого пользователями.
Данное решение позволяет разместить в облаке Advanced рекомендательную систему веб-сайта, который обеспечивает следующие возможности:
Выполнение анализа пользовательского контента для выработки рекомендаций пользователям.
Возможность разработки и внедрения сервисов, которые позволят повысить эффективность использования облачной инфраструктуры.
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
Разработка и размещение рекомендательной системы веб-сайта в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения |
Риски |
|---|---|
|
Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании технологии машинного обучения на основании контента, генерируемого пользователями. Модели ИИ для машинного обучения размещаются на платформе ML Space.
- Предварительные требования:
В тенанте облака Advanced должны быть созданы бакеты в сервисе OBS с необходимой зоной доступности (Single-AZ или Multi-AZ).
К платформе ML Space должны быть настроен доступ для ML-разработки полного цикла и совместной работы DS-команд над созданием и развертыванием моделей машинного обучения.
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
- Компоненты решения:
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
Реляционная база данных для хранения данных веб-сайта на базе сервиса RDS.
Хранилище данных на базе сервиса DWS для результатов аналитики рекомендательной системы.
Кеширование запросов на базе решения Redis сервиса DCS.
Хранилище логов событий на базе решения Elasticsearch сервиса CSS.
ETL-сервис DLI.
Компонент CDM сервиса DataArts Studio.
Платформа ML Space для обучения моделей.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Для загрузки обработанных данных и последующей передачи на вход обучения моделей используется сервис объектного хранилища данных OBS.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Обеспечение высокой доступности достигается расположением серверов в разных зонах доступности облака Advanced.
Публичный адрес (EIP) рекомендательной системы веб-сайта защищают сервисы WAF и Anti-DDOS.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet) для приложений и баз данных.
Создание групп безопасности (Security Group) для приложения и баз данных.
Создание NAT Gateway для выхода сервисов в интернет.
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
Создание инстанса баз данных RDS в высокодоступной Multi-AZ типа Master/Standby.
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
Создание инстанса в сервисе аналитики DWS.
Создание инстанса Redis в сервисе DCS.
Создание инстанса Elasticsearch в сервисе CSS.
Создание бакета в сервисе OBS для хранения результатов обработки моделей машинного обучения.
Создание инстанса CDM в сервисе DataArts Studio.
Загрузка образов контейнеров в сервис SWR.
Настройка очереди обработки ETL в сервисе DLI.
Создание публичного адреса EIP для доступа к рекомендательной системе веб-сайта через интернет.
Настройка сервисов WAF.
Настройка сервисов Anti-DDOS.
Обучение модели ИИ на платформе ML Space.
Запуск решения в облаке Advanced.
для Dev & Test