Платформа для хранения и продвинутой аналитики больших данных в облаке Advanced
Решение для построения в облаке Advanced платформы для хранения и продвинутой аналитики больших данных реализуется через интеграцию облачной среды хранения и обработки данных с программными решениями для бизнес-аналитики и BI-системами.
Данное решение позволяет разместить в облаке Advanced платформу хранения и обработки больших данных, которая обеспечивает следующие возможности:
-
Отказоустойчивость каждого компонента.
-
Доступ к ресурсам платформы через интернет или выделенное сетевое соединение.
-
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
-
Возможность интеграции с программными решениями для бизнес-аналитики и BI-системами.
-
Гибкое масштабирование в зависимости от рабочей нагрузки.
Разработка и размещение платформы для хранения и продвинутой аналитики больших данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
---|---|
| Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения платформы хранения и обработки больших данных.
- Предварительные требования:
-
В тенанте должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).
-
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
При настройке приложений для развертывания и поддержки платформы хранения и обработки больших данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.
- Компоненты решения:
-
Источники данных.
-
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
-
ETL-сервис DLI.
-
Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.
-
Хранилище для аналитики данных на базе сервиса DWS.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Обеспечение высокой доступности достигается расположением сервисов в разных зонах доступности облака Advanced.
Реализация
Список последовательных действий при настройке решения:
-
Создание VPC.
-
Создание подсетей (Subnet) для приложений и баз данных.
-
Создание групп безопасности (Security Group) для приложения и базы данных.
-
Создание NAT Gateway для выхода сервисов в интернет.
-
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
-
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
-
Создание инстанса DMS for Kafka.
-
Загрузка образов контейнеров в сервис SWR.
-
Создание публичного адреса EIP для доступа к платформе хранения и обработки больших данных через интернет.
-
Создание инстанса в сервисе аналитики DWS.
-
Настройка очереди обработки ETL в сервисе DLI.
-
Настройка BI-системы для визуализации данных.
-
Запуск решения бизнес аналитики и озера данных в облаке Advanced.
- Общая схема
- Описание решения
- Реализация