/ DOCS
Evolution
Тема интерфейса
Архитектурный центр

Платформа для хранения и продвинутой аналитики больших данных в облаке Advanced

Решение для построения в облаке Advanced платформы для хранения и продвинутой аналитики больших данных реализуется через интеграцию облачной среды хранения и обработки данных с программными решениями для бизнес-аналитики и BI-системами.

../../_images/schm__typical-solutions_adv_data-lakes-and-analytics-1.svg

Данное решение позволяет разместить в облаке Advanced платформу хранения и обработки больших данных, которая обеспечивает следующие возможности:

  • Отказоустойчивость каждого компонента.

  • Доступ к ресурсам платформы через интернет или выделенное сетевое соединение.

  • Использование решений PaaS и IaaS для упрощения развертывания и поддержки.

  • Возможность интеграции с программными решениями для бизнес-аналитики и BI-системами.

  • Гибкое масштабирование в зависимости от рабочей нагрузки.

Разработка и размещение платформы для хранения и продвинутой аналитики больших данных в облаке Advanced имеет следующие преимущества и риски:

Преимущества решения

Риски

  • Возможность использования инфраструктурных и базовых платформенных сервисов Advanced для разработки, запуска и поддержания платформы для хранения и продвинутой аналитики больших данных в облаке Cloud.ru.

  • Анализ больших данных петабайтного объема для разных отраслей промышленности.

  • Облачная форма решения баз данных, совместимая со стандартными экосистемами ANSI SQL 99/2003 и PostgreSQL/Oracle.

  • Визуальное представление результатов анализа больших данных.

Отсутствуют.

Общая схема

../../_images/schm__typical-solutions_adv_data-lakes-and-analytics-2.svg

Описание решения

Решение основано на использовании сервисов PaaS и IaaS в облаке Advanced для разработки и размещения платформы хранения и обработки больших данных.

Предварительные требования:

  • В тенанте должны быть созданы как минимум одна сеть VPC и одна подсеть (Subnet).

  • Между внутренней площадкой заказчика и тенантом должно быть настроено выделенное соединение с использованием сервисов облака VPN или Direct Connect.

При настройке приложений для развертывания и поддержки платформы хранения и обработки больших данных можно использовать сервис NAT Gateway, обеспечивающий выход в интернет из приватной подсети VPC.

Компоненты решения:

  • Источники данных.

  • Веб-приложение (режим Active-Active) на базе сервиса CCE для запуска в контейнерной среде.

  • ETL-сервис DLI.

  • Распределенный программный брокер сообщений Kafka на базе облачного сервиса DMS for Kafka.

  • Хранилище для аналитики данных на базе сервиса DWS.

В качестве распределения нагрузки между серверами приложений используется сервис ELB.

Мониторинг инфраструктуры серверов и баз данных реализуется с использованием сервиса Cloud Eye. Для мониторинга контейнерных приложений используется сервис AOM.

Для загрузки и хранения образов контейнеров используется сервис SWR.

Обеспечение высокой доступности достигается расположением сервисов в разных зонах доступности облака Advanced.

Публичный адрес (EIP) платформы хранения и обработки больших данных защищают сервисы WAF и Anti-DDOS.

Реализация

Список последовательных действий при настройке решения:

  1. Создание VPC.

  2. Создание подсетей (Subnet) для приложений и баз данных.

  3. Создание групп безопасности (Security Group) для приложения и базы данных.

  4. Создание NAT Gateway для выхода сервисов в интернет.

  5. Создание Application Load Balancer для обработки запросов HTTP/S и перенаправление на группу серверов приложений.

  6. Создание инстанса сервиса CCE в высокодоступной Multi-AZ типа Master.

  7. Создание инстанса DMS for Kafka.

  8. Загрузка образов контейнеров в сервис SWR.

  9. Создание публичного адреса EIP для доступа к платформе хранения и обработки больших данных через интернет.

  10. Создание инстанса в сервисе аналитики DWS.

  11. Настройка очереди обработки ETL в сервисе DLI.

  12. Настройка BI-системы для визуализации данных.

  13. Запуск решения бизнес аналитики и озера данных в облаке Advanced.

Предыдущая статья
Организация процессов сбора и обработки данных в облаке Advanced
Следующая статья
Построение системы хранения и обмена файлами в облаке Advanced
Была ли эта статья полезна?
Поддержка Юридические документы
© 2025 Cloud.ru