/ DOCS
Evolution
Тема интерфейса

Подключение Trino к Iceberg

В лабораторной работе вы подготовите инстанс Trino для работы с форматом данных Iceberg.

Постановка задачи

  1. Создать и заполнить таблицу с данными сотрудников.

  2. Прочитать данные таблицы в определенной точке времени, используя формат данных Iceberg.

Перед началом работы

  1. Если вы уже зарегистрированы, войдите под своей учетной записью.

  2. Создайте публичный SNAT-шлюз, чтобы обеспечить инстансу доступ в интернет и связь с внешними источниками.

  3. Создайте бакет Object Storage, в котором будут храниться таблицы и схемы.

  4. Создайте секреты в сервисе Secret Management для доступа к Object Storage. Понадобится сохранить идентификатор ключа доступа (access key) и секретный ключ доступа (key secret).

  6. Создайте кластер Data Platform, в котором будет размещен инстанс.

    Назовите кластер «dp-labs».

  8. Установите JDBC-клиент DBeaver.

Внимание

Все сущности должны располагаться в одной VPC и подсетях одного типа.

Создайте инстанс Managed Metastore

  1. Перейдите в раздел Evolution и выберите сервис guilabel:Managed Metastore.

  2. Нажмите Создать инстанс.

  3. В блоке Общие параметры заполните поля следующими значениями:

    • Название — iceberg-metastore-lab.

    • Кластер — dp-labs.

    • Лог-группа — группа, в которой будут храниться логи инстанса.

    • Файловая система — S3 и выберите Object Storage.

    • Бакет — созданный бакет Object Storage.

  4. Нажмите Продолжить.

  5. В блоке Сетевые настройки выберите:

  6. Нажмите Создать.

  7. Дождитесь, когда статус инстанса изменится на «Готов».

  8. Откройте карточку инстанса. Информация об инстансе понадобится при создании каталога Trino.

Создайте каталог

  1. Перейдите в раздел Evolution и выберите сервис Managed Trino.

  2. Откройте раздел Каталог.

  3. Нажмите Создать каталог.

  4. Заполните поля следующими значениями:

    • Название — metastore-iceberg-lab.

    • Коннектор — Iceberg.

    • Каталог — Metastore.

    • Thrift URL — Thrift URL, скопированный с карточки Metastore.

    • Эндпоинт — https://s3.cloud.ru.

    • Идентификатор ключа доступа — access key, выбирается из Secret Management.

    • Секретный ключ доступа — secret key, выбирается из Secret Management.

    • Регион S3 — ru-central-1.

  5. Нажмите Создать.

На странице Managed Trino в разделе Каталог появится запись с названием «metastore-iceberg-lab».

Создайте инстанс Trino

  1. Перейдите в раздел Evolution и выберите сервис Managed Trino.

  2. Откройте раздел Инстансы.

  3. Нажмите Создать инстанс.

  4. В блоке Общие параметры заполните поля следующими значениями:

    • Название — trino-iceberg-lab.

    • Кластер — dp-labs.

    • Вычислительные ресурсы — Small (vCPU 4, RAM 16).

    • Количество node — 3.

  5. Нажмите Продолжить.

  6. В блоке Каталог выберите каталог Metastore с названием «metastore-iceberg-lab».

  7. Нажмите Продолжить.

  8. В блоке Сетевые настройки выберите:

    • Зона доступности — зону доступности, для которой создан SNAT-шлюз.

    • Подсеть — подсеть, в которой расположен инстанс Managed Metastore.

    • Подключить публичный хост — активируйте опцию.

    • Пользователь — имя пользователя.

    • Пароль — секретный ключ.

  9. Нажмите Создать.

  10. Дождитесь, когда статус инстанса изменится на «Готов».

  11. Откройте карточку инстанса Trino. Информация из нее понадобится при подключении к DBeaver.

Подключите Trino к DBeaver

  1. Откройте приложение DBeaver.

  2. В панели сверху нажмите База данных → Новое соединение.

  3. В списке соединений выберите Trino.

  4. Нажмите Далее и на вкладке Главное заполните поля информацией из карточки инстанса:

    • Хост

    • Порт

    • Пользователь

    • Пароль

    ../_images/dbeaver__connection-1.png

  5. На вкладке Свойства драйвера измените значение свойства SSL на true.

    ../_images/dbeaver__connection-2.png

  6. Нажмите Тест соединения.

  7. Нажмите Готово.

Слева в списке объектов появится база данных Metastore с названием «iceberg-metastore-lab».

Отправьте SQL-запросы

  1. Запустите DBeaver.

  2. Создайте новый редактор SQL и введите команду:

    SHOW CATALOGS;

    В списке должен появиться коннектор «metastore-iceberg-lab».

  3. Создайте схему:

    CREATE SCHEMA IF NOT EXISTS metastore-iceberg-lab.my_company_iceberg;

  4. Создайте таблицу в каталоге Iceberg:

    CREATE TABLE IF NOT EXISTS metastore-iceberg-lab.my_company_iceberg.employees
    (
        id_employee INT,
        email VARCHAR(255)
    )
    WITH (
        format = 'PARQUET'
    

    );

  5. Вставьте данные в таблицу:

    INSERT INTO metastore-iceberg-lab.my_company_iceberg.employees
    values (1, 'xxx@example.com'), (2, 'yyy@example.com'), (3, 'zzz@example.com');

  6. Прочитайте данные из таблицы, чтобы убедиться, что данные записаны:

    SELECT *
    FROM metastore-iceberg-lab.my_company_iceberg.employees;

  7. Вставьте данные в таблицу:

    INSERT INTO metastore-iceberg-lab.my_company_iceberg.employees
    values (4, 'ttt@example.com'), (5, 'ggg@example.com'), (6, 'iii@example.com');

  8. Прочитайте данные из таблицы, чтобы убедиться, что данные записаны:

    SELECT *
    FROM metastore-iceberg-lab.my_company_iceberg.employees;

  9. Прочитайте историю таблицы:

    SELECT *
    FROM metastore-iceberg-lab.my_company_iceberg."employees$history";

  10. Скопируйте время создания таблицы из предыдущей выдачи в формате YYYY-MM-DD HH:MM:SS.000.

  11. Прочитайте данные из таблицы в определенной точке (5 минут после создания таблицы).

    SELECT *
    FROM metastore-iceberg-lab.my_company_iceberg.employees
    FOR TIMESTAMP AS OF TIMESTAMP 'YYYY-MM-DD HH:MM:SS.000 +0300';

    Где YYYY-MM-DD HH:MM:SS.000 — скопированное время создания таблицы.

Предыдущая статья
Подключение Trino к S3
Следующая статья
Концепции
Была ли эта статья полезна?
Поддержка Юридические документы
© 2025 Cloud.ru