Платформа для хранения и продвинутой аналитики больших данных в облаке Advanced
Решение для построения в облаке Advanced платформы для хранения и продвинутой аналитики больших данных реализуется через интеграцию облачной среды хранения и обработки данных с программными решениями для бизнес-аналитики и BI-системами.
Данное решение позволяет разместить в облаке Advanced платформу хранения и обработки больших данных, которая обеспечивает следующие возможности:
Отказоустойчивость каждого компонента.
Доступ к ресурсам платформы через интернет или выделенное сетевое соединение.
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
Возможность интеграции с программными решениями для бизнес-аналитики и BI-системами.
Гибкое масштабирование в зависимости от рабочей нагрузки.
Разработка и размещение платформы для хранения и продвинутой аналитики больших данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
|---|---|
| Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения платформы хранения и обработки больших данных.
- Предварительные требования:
В тенанте должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
При настройке приложений для развертывания и поддержки платформы хранения и обработки больших данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.
- Компоненты решения:
Источники данных.
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
ETL-сервис DLI.
Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.
Хранилище для аналитики данных на базе сервиса DWS.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Обеспечение высокой доступности достигается расположением сервисов в разных зонах доступности облака Advanced.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet) для приложений и баз данных.
Создание групп безопасности (Security Group) для приложения и базы данных.
Создание NAT Gateway для выхода сервисов в интернет.
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
Создание инстанса DMS for Kafka.
Загрузка образов контейнеров в сервис SWR.
Создание публичного адреса EIP для доступа к платформе хранения и обработки больших данных через интернет.
Создание инстанса в сервисе аналитики DWS.
Настройка очереди обработки ETL в сервисе DLI.
Настройка BI-системы для визуализации данных.
Запуск решения бизнес аналитики и озера данных в облаке Advanced.
- Общая схема
- Описание решения
- Реализация