Организация процессов сбора и обработки данных в облаке Advanced
Решение для размещения в облаке Advanced корпоративной системы сбора и обработки данных реализуется с использованием базового набора продуктов для облачной инфраструктуры Cloud.ru.
Данное решение позволяет компаниям, только начинающим миграцию и развитие своей виртуальной инфраструктуры в облаке Advanced, организовать процессы сбора и обработки данных, которые обеспечивают следующие возможности:
Отказоустойчивость каждого компонента.
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
Доступ к ресурсам системы через интернет или выделенное сетевое соединение.
Оптимизацию и автоматизацию бизнес-процессов, связанных со сбором и обработкой данных.
Разработка и размещение корпоративной системы сбора и обработки данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
|---|---|
| Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения корпоративной системы сбора и обработки данных.
- Предварительные требования:
В тенанте облака Advanced должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
При настройке приложений для развертывания и поддержки корпоративной системы сбора и обработки данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.
Настройка прав доступа к инфраструктуре облака Advanced осуществляется в сервисе IAM.
Логирование операций в облаке осуществляется в сервисе CTS.
- Компоненты решения:
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
Реляционная база данных для хранения данных на базе сервиса RDS.
Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Обеспечение высокой доступности достигается расположением серверов в разных зонах доступности облака Advanced.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet) для приложений и баз данных.
Создание групп безопасности (Security Group) для приложения и базы данных.
Создание соединений Virtual Private Network или Direct Connect.
Создание NAT Gateway для выхода сервисов в интернет.
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
Создание инстанса баз данных RDS в высокодоступной Multi-AZ типа Master/Standby.
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
Создание инстанса DMS for Kafka.
Загрузка образов контейнеров в сервис SWR.
Создание публичного адреса EIP для доступа к корпоративной системе сбора и обработки данных через интернет.
Настройка сервисов WAF.
Запуск решения в облаке Advanced.
- Общая схема
- Описание решения
- Реализация