Облачная платформаEvolution

Построение графика с PostgreSQL

Эта статья полезна?

С помощью этого руководства вы научитесь использовать платформу Superset для создания графиков на основе данных из Managed PostgreSQL.

В качестве примера вы построите две столбчатые диаграммы, отражающие количество мужчин и женщин среди клиентов и их средний возраст.

Вы будете использовать следующие сервисы:

  • Managed BI — сервис для визуализации и анализа данных.

  • Managed PostgreSQL — управляемая база данных PostgreSQL.

  • Managed Trino — сервис, который предоставляет массивно-параллельный аналитический SQL-движок для обработки больших объемов данных из разных источников.

Шаги:

Перед началом работы

Внимание

Располагайте все создаваемые сущности в одной сети VPC и используйте единые сетевые настройки.

  1. Если вы уже зарегистрированы, войдите под своей учетной записью.

  2. Создайте секрет. В качестве значения в поле Стандартный режим задайте пароль.

  3. Создайте группу безопасности. Добавьте правила входящего и исходящего трафика со следующими параметрами:

    • ПротоколЛюбой.

    • Порт — оставьте незаполненным. При этом будут автоматически выбраны все порты.

    • Тип источникаIP-адрес.

    • Источник0.0.0.0/0.

    Примечание

    Правила с такими параметрами разрешают входящий и исходящий трафик между любыми машинами в вашей сети и любыми адресами в интернете. В целях безопасности рекомендуем использовать их только для выполнения практических заданий. Для работы с актуальными данными указывайте порт или диапазон портов, отдельные IP-адреса или небольшие диапазоны адресов.

  4. Создайте кластер Data Platform, назовите его «dp-labs».

    1. Задайте название кластера «DBaaS-PG-1».

    2. Дождитесь, когда статус кластера изменится на «Доступен».

    1. В блоке Конфигурация выберите Вычислительные ресурсы2 vCPU / 4 RAM (free tier).

    2. Активируйте опцию Подключить публичный хост.

    3. В блоке Сетевые настройки в поле Группа безопасности выберите созданную ранее группу безопасности.

    4. Дождитесь, когда статус инстанса изменится на «Готов».

  5. Установите JDBC-клиент DBeaver.

1. Подготовьте инстанс Managed Trino

На этом шаге вы создадите инстанс Managed Trino и подключитесь к нему с помощью DBeaver.

  1. Откройте карточку кластера Managed PostgreSQL®. Информация из нее понадобится на следующих этапах.

  2. В новой вкладке браузера откройте сервис Managed Trino.

  3. Нажмите Создать и выберите Каталог.

  4. Заполните поля:

    • Названиеpostgres.

    • Коннекторpostgresql.

    • Хост — внутренний IP, указанный в карточке созданного ранее кластера DBaaS-PG-1.

    • Порт — порт, указанный в карточке кластера DBaaS-PG-1.

    • Название базы данныхdbaas_pg_1.

    • Логин — логин, указанный в карточке кластера DBaaS-PG-1.

    • Пароль — пароль, сохраненный в Secret Management.

  5. Нажмите Создать.

  6. Перейдите в раздел Инстансы и нажмите Создать инстанс.

  7. В блоке Общие параметры укажите:

    • Названиеtrino-instance.

    • Кластерdp-labs.

  8. В блоке Конфигурация выберите:

    • Вычислительные ресурсы4 vCPU/16 RAM.

    • Количество нод3. Чтобы указать количество нод, отключите опцию Автомасштабирование.

  9. В блоке Настройки каталога выберите каталог postgres.

  10. Нажмите Продолжить.

  11. В блоке Сетевые настройки:

    • Зона доступности — выберите задействованную на предыдущих шагах

      , .

    • Подсеть — выберите задействованную на предыдущих шагах подсеть.

  12. В блоке Настройки доступа:

    • Подключить публичный хост — активируйте опцию.

    • Пользователь — введите имя пользователя.

    • Пароль — пароль, сохраненный в Secret Management.

  13. Нажмите Создать.

  14. Дождитесь, когда статус инстанса изменится на «Готов».

  15. Откройте карточку инстанса Managed Trino. Информация из нее понадобится на следующих этапах.

2. Загрузите данные в Managed PostgreSQL®

На этом шаге вы загрузите в Managed PostgreSQL® данные для визуализации.

  1. Скачайте таблицу mall_customers.csv.

  2. В DBeaver на верхней панели выберите Редактор SQl → Открыть SQL-скрипт.

  3. Скопируйте и выполните SQL-запрос:

    CREATE TABLE postgres.lab.mall_customers (
    customerid integer,
    gender varchar(50),
    age integer,
    annualincome integer,
    spendingscore integer
    );
  4. В списке баз данных нажмите правой кнопкой мыши на созданную таблицу.

  5. В контекстном меню выберите Импорт данных.

  6. Настройте трансфер данных:

    1. На шаге Исходный формат выберите .csv.

    2. Укажите скачанную ранее таблицу mall_customers и нажмите Далее.

    3. Проверьте соответствие столбцов и нажмите Далее.

    4. На шаге Настройки загрузки данных отключите опцию Использовать транзакции и нажмите Далее.

    5. Нажмите Продолжить.

3. Создайте подключение в Superset

На этом шаге вы настроите платформу Superset для визуализации данных.

  1. Перейдите в раздел Evolution и выберите сервис Managed BI.

  2. В карточке созданного ранее инстанса нажмите Перейти в интерфейс BI.

  3. Нажмите Sign in with cloud.

  4. Справа сверху нажмите Настройки и выберите Данные → Подключения.

  5. Справа сверху нажмите База данных.

  6. В поле Поддерживаемые базы данных выберите Trino с помощью поиска.

  7. В поле SQLAlchemy URI введите данные инстанса Managed Trino в формате trino://<username>:<password>@<host>:<port>/<catalog>, где:

    • <username> — имя пользователя, поле Пользователь в карточке инстанса Managed Trino.

    • <password> — пароль, поле Пароль в карточке инстанса Managed Trino.

    • <host> — внутренний хост из карточки инстанса Managed Trino.

    • <port> — порт из карточки инстанса Managed Trino.

    • <catalog>postgres.

  8. Нажмите Подключить. Подключение появится в списке Базы данных.

4. Создайте график, отражающий пол клиентов

На этом шаге вы создадите график, который отобразит количество мужчин и женщин среди клиентов.

  1. Перейдите на вкладку Датасеты.

  2. Справа сверху нажмите Датасет.

  3. Заполните поля:

    • База данныхTrino.

    • Схемаlab.

    • Tаблицаmall_customers.

  4. Нажмите Создать датасет и диаграмму.

  5. В блоке Выберите тип диаграммы с помощью поиска выберите тип Столбчатая диаграмма.

  6. В правом нижнем углу нажмите Создать диаграмму.

  7. Перетащите столбец gender в поле Ось Х.

  8. Перетащите столбец gender в поле Mеры.

  9. В открывшемся окне в поле Агрегатная функция выберите COUNT и нажмите Сохранить.

  10. Нажмите Создать диаграмму.

  11. Справа сверху нажмите Сохранить и подтвердите сохранение.

5. Создайте график, отражающий пол и средний возраст клиентов

На этом шаге вы создадите график, который отобразит количество мужчин и женщин среди клиентов и их средний возраст.

  1. Справа сверху нажмите Диаграмма.

  2. В блоке Выберите датасет выберите mall_customers.

  3. В блоке Выберите тип диаграммы с помощью поиска найдите и выберите тип Столбчатая диаграмма.

  4. В правом нижнем углу нажмите Создать диаграмму.

  5. Перетащите столбец gender в поле Ось Х.

  6. Перетащите столбец age в поле Mеры.

  7. В открывшемся окне в поле Агрегатная функция выберите AVG и нажмите Сохранить.

  8. Нажмите Создать диаграмму.

  9. Справа сверху нажмите Сохранить и подтвердите сохранение.

6. Создайте дашборд

На этом шаге вы соберете созданные ранее графики на дашборд.

  1. В Superset перейдите на вкладку Дашборды.

  2. Справа сверху нажмите Дашборд.

  3. Из списка справа перетащите ранее созданные графики в рабочую область слева.

  4. Нажмите Сохранить.

Результат

Вы научились подключать к сервису Managed BI данные, размещенные в Managed PostgreSQL®, и использовать платформу Superset для построения графиков.