- tocdepth
2
Организация процессов сбора и обработки данных в облаке Advanced
Решение для размещения в облаке Advanced корпоративной системы сбора и обработки данных реализуется с использованием базового набора продуктов для облачной инфраструктуры Cloud.ru.
Данное решение позволяет компаниям, только начинающим миграцию и развитие своей виртуальной инфраструктуры в облаке Advanced, организовать процессы сбора и обработки данных, которые обеспечивают следующие возможности:
Отказоустойчивость каждого компонента.
Использование решений PaaS и IaaS для упрощения развертывания и поддержки.
Доступ к ресурсам системы через интернет или выделенное сетевое соединение.
Оптимизацию и автоматизацию бизнес-процессов, связанных со сбором и обработкой данных.
Разработка и размещение корпоративной системы сбора и обработки данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения |
Риски |
|---|---|
|
Отсутствуют. |
Общая схема
Описание решения
Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения корпоративной системы сбора и обработки данных.
- Предварительные требования:
В тенанте облака Advanced должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).
Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.
При настройке приложений для развертывания и поддержки корпоративной системы сбора и обработки данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.
Настройка прав доступа к инфраструктуре облака Advanced осуществляется в сервисе IAM.
Логирование операций в облаке осуществляется в сервисе CTS.
- Компоненты решения:
Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.
Реляционная база данных для хранения данных на базе сервиса RDS.
Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.
Файловое хранилище для хранения любых типов данных на базе сервиса EVS или объектное хранилище данных на базе сервиса OBS.
В качестве распределения нагрузки между серверами приложений используется сервис ELB.
Для загрузки и хранения образов контейнеров используется сервис SWR.
Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.
Обеспечение высокой доступности достигается расположением серверов в разных зонах доступности облака Advanced.
Публичный адрес (EIP) корпоративной системы сбора и обработки данных защищает сервис WAF.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet) для приложений и баз данных.
Создание групп безопасности (Security Group) для приложения и базы данных.
Создание соединений Virtual Private Network или Direct Connect.
Создание NAT Gateway для выхода сервисов в интернет.
Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.
Создание инстанса баз данных RDS в высокодоступной Multi-AZ типа Master/Standby.
Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.
Создание инстанса DMS for Kafka.
Загрузка образов контейнеров в сервис SWR.
Создание инстанса сервиса EVS в высокодоступной Multi-AZ типа Master или бакета в сервисе OBS.
Создание публичного адреса EIP для доступа к корпоративной системе сбора и обработки данных через интернет.
Настройка сервисов WAF.
Запуск решения в облаке Advanced.
для Dev & Test