Купер ускорил подготовку аналитической отчетности благодаря переходу в облако Cloud.ru

Купер — онлайн-сервис доставки товаров, продуктов и готовый еды из магазинов и ресторанов. Работает в 360 городах России.

Аналитическая инфраструктура Купера включает несколько компонентов, каждый из которых выполняет свою задачу. Инфраструктура развернута в облаке российского провайдера.

С ростом объемов данных и аналитической нагрузки возникла необходимость пересмотреть используемое решение. Купер рассчитывал увеличить производительность корпоративного хранилища, чтобы быстрее готовить аналитические отчеты для себя и внешних партнеров.

Подобрать подходящую управляемую СУБД в облаке, аналогичную Greenplum, с возможностью подключения к внешним источникам. Перед миграцией в новое облако провести нагрузочное тестирование на клиентских запросах, чтобы подтвердить уровень производительности в новой инсталляции. Перенести из облака в облако 40 ТБ сырых бизнес-критичных данных вместе с дев-контуром, с которым работают аналитики и разработчики Купера. Перенос данных должен произойти без остановки аналитических процессов.

Провайдер предложил аналитическую базу данных на базе решения с открытым исходным кодом Greenplum. Также Купер оценил техническую поддержку и скорость реагирования на запросы со стороны команды Cloud.ru во время нагрузочного тестирования.

Специалисты облачного провайдера развернули СУБД в сервисе Evolution Managed ArenadataDB на платформе Cloud.ru Evolution. В этой версии клиент может конфигурировать и деликатно настраивать кластер, мониторить текущие запросы с анализом скорости их исполнения, работать с удобными инструментами бэкапирования и восстановления, а также пользоваться базой знаний по сервису и получать круглосуточную вендорскую поддержку.

Для оценки производительности СУБД в сервисе Evolution Managed Arenadata DB проведено нагрузочное тестирование на собственных аналитических (OLAP) запросах Купера. В рамках пилота команда Cloud.ru сделала следующее:

• развернула отказоустойчивую конфигурацию Managed ArendataDB, способную выдержать высокие нагрузки, и настроила пайплайн миграции данных;
• настроила несколько PXF-подключений к внешним источникам данных, что позволило выполнять аналитические запросы к данным, расположенным за пределами основной СУБД;
• оптимизировала параметры использования памяти для работы с внешними источниками, чтобы корректно обрабатывать крупные клиентские запросы без потери данных;
• установила и настроила необходимые кастомные JDBC-драйверы, которых нет в стандартной поставке ADB.

Результаты пилотного проекта получились следующие:

• проведен полный цикл настройки кластера СУБД от создания и конфигурирования под нагрузку клиента до деликатных тюнингов системы для оптимизации производительности работы запросов;
• настроены коннекторы и механизмы доступа к внешним данным из нескольких источников;
• настроены auto-vacuum и auto-analyze — механизмы автоматического обслуживания СУБД, позволяющие поддерживать устойчивую работу инфраструктуры при высокой аналитической нагрузке.

Купер без остановки процессов перенес в облако Cloud.ru 40 ТБ данных и тестовый контур, с которым работают аналитики и разработчики. Инфраструктура, развернутая с сервисом Evolution Managed ArenadataDB, работает в режиме T-1, когда данные за вчера доступны на следующий день — это позволяет обеспечивать управленческую отчетность и ad-hoc аналитику быстрее.

Миграция в облако Cloud.ru ускорила выполнение запросов, увеличила прозрачность работы с данными и позволила гибко масштабироваться под рост запросов.

Органический рост данных со временем увеличит нагрузку на аналитическую инфраструктуру — эту задачу Купер рассчитывает решить с управляемым и масштабируемым решением в облаке Cloud.ru. Также в планах оптимизировать время сохранения бэкапов и настроить архивацию данных.