/ DOCS
Evolution
Тема интерфейса
Архитектурный центр

Организация процессов сбора и обработки данных в облаке Advanced

Решение для размещения в облаке Advanced корпоративной системы сбора и обработки данных реализуется с использованием базового набора продуктов для облачной инфраструктуры Cloud.ru.

Данное решение позволяет компаниям, только начинающим миграцию и развитие своей виртуальной инфраструктуры в облаке Advanced, организовать процессы сбора и обработки данных, которые обеспечивают следующие возможности:

  • Отказоустойчивость каждого компонента.

  • Использование решений PaaS и IaaS для упрощения развертывания и поддержки.

  • Доступ к ресурсам системы через интернет или выделенное сетевое соединение.

  • Оптимизацию и автоматизацию бизнес-процессов, связанных со сбором и обработкой данных.

Разработка и размещение корпоративной системы сбора и обработки данных в облаке Advanced имеет следующие преимущества и риски:

Преимущества решения

Риски

  • Возможность использования инфраструктурных и базовых платформенных сервисов Advanced для разработки, запуска и поддержания функционирования корпоративной системы сбора и обработки данных в облаке Cloud.ru.

  • Безопасное решение для запуска корпоративной системы сбора и обработки данных.

Отсутствуют.

Общая схема

../../_images/schm__typical-solutions_adv_data-collection-and-processing.svg

Описание решения

Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения корпоративной системы сбора и обработки данных.

Предварительные требования:

  • В тенанте облака Advanced должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).

  • Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.

При настройке приложений для развертывания и поддержки корпоративной системы сбора и обработки данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.

Настройка прав доступа к инфраструктуре облака Advanced осуществляется в сервисе IAM.

Логирование операций в облаке осуществляется в сервисе CTS.

Компоненты решения:

  • Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.

  • Реляционная база данных для хранения данных на базе сервиса RDS.

  • Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.

  • Файловое хранилище для хранения любых типов данных на базе сервиса EVS или объектное хранилище данных на базе сервиса OBS.

В качестве распределения нагрузки между серверами приложений используется сервис ELB.

Для загрузки и хранения образов контейнеров используется сервис SWR.

Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.

Обеспечение высокой доступности достигается расположением серверов в разных зонах доступности облака Advanced.

Публичный адрес (EIP) корпоративной системы сбора и обработки данных защищает сервис WAF.

Реализация

Список последовательных действий при настройке решения:

  1. Создание VPC.

  2. Создание подсетей (Subnet) для приложений и баз данных.

  3. Создание групп безопасности (Security Group) для приложения и базы данных.

  4. Создание соединений Virtual Private Network или Direct Connect.

  5. Создание NAT Gateway для выхода сервисов в интернет.

  6. Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.

  7. Создание инстанса баз данных RDS в высокодоступной Multi-AZ типа Master/Standby.

  8. Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.

  9. Создание инстанса DMS for Kafka.

  10. Загрузка образов контейнеров в сервис SWR.

  11. Создание инстанса сервиса EVS в высокодоступной Multi-AZ типа Master или бакета в сервисе OBS.

  12. Создание публичного адреса EIP для доступа к корпоративной системе сбора и обработки данных через интернет.

  13. Настройка сервисов WAF.

  14. Настройка метрик мониторинга в сервисах Cloud Eye и AOM.

  15. Запуск решения в облаке Advanced.

Предыдущая статья
Облачная платформа для работы с данными
Следующая статья
Платформа для хранения и продвинутой аналитики больших данных в облаке Advanced
Была ли эта статья полезна?
Поддержка Юридические документы
© 2025 Cloud.ru