Подключение Trino к Iceberg

Постановка задачи

1. Создать и заполнить таблицу с данными сотрудников.

2. Прочитать данные таблицы в определенной точке времени, используя формат данных Iceberg.

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Создайте публичный SNAT-шлюз, чтобы обеспечить инстансу доступ в интернет и связь с внешними источниками.

3. Создайте бакет Object Storage, в котором будут храниться таблицы и схемы.

4. Создайте секреты в сервисе Secret Management для доступа к Object Storage. Понадобится сохранить идентификатор ключа доступа (access key) и секретный ключ доступа (key secret).

5. Настройте DNS-сервер и подсеть.

6. Создайте кластер Data Platform, в котором будет размещен инстанс.

   Назовите кластер «dp-labs».

7. Скачайте и установите root-сертификат на устройство.

8. Установите JDBC-клиент DBeaver.

Создайте инстанс Managed Metastore

1. Перейдите в раздел Evolution и выберите сервис Managed Metastore.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры заполните поля следующими значениями:

   • Название — iceberg-metastore-lab.

   • Кластер — dp-labs.

   • Лог-группа — группа, в которой будут храниться логи инстанса.

   • Файловая система — S3 и выберите Object Storage.

   • Бакет — созданный бакет Object Storage.

4. Нажмите Продолжить.

5. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности, для которой создан SNAT-шлюз.

   • Подсеть — подсеть с DNS-сервером.

6. Нажмите Создать.

7. Дождитесь, когда статус инстанса изменится на «Готов».

8. Откройте карточку инстанса. Информация об инстансе понадобится при создании каталога Trino.

Создайте каталог

1. Перейдите в раздел Evolution и выберите сервис Managed Trino.

2. Нажмите Создать и выберите Каталог.

3. Заполните поля следующими значениями:

   • Название — metastore_iceberg_lab.

   • Коннектор — Iceberg.

   • Каталог — Metastore.

   • Thrift URL — Thrift URL, скопированный с карточки Metastore.

   • Эндпоинт — https://s3.cloud.ru.

   • Идентификатор ключа доступа — access key, выбирается из Secret Management.

   • Секретный ключ доступа — secret key, выбирается из Secret Management.

   • Регион S3 — ru-central-1.

4. Нажмите Создать.

Создайте инстанс Trino

1. Перейдите в раздел Evolution и выберите сервис Managed Trino.

2. Откройте раздел Инстансы.

3. Нажмите Создать инстанс.

4. В блоке Общие параметры заполните поля следующими значениями:

   • Название — trino-iceberg-lab.

   • Кластер — dp-labs.

   • Вычислительные ресурсы — vCPU 4, RAM 16.

   • Количество node — 3.

5. Нажмите Продолжить.

6. В блоке Каталог выберите каталог Metastore с названием «metastore_iceberg_lab».

7. Нажмите Продолжить.

8. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности, для которой создан SNAT-шлюз.

   • Подсеть — подсеть, в которой расположен инстанс Managed Metastore.

   • Подключить публичный хост — активируйте опцию.

   • Пользователь — имя пользователя.

   • Пароль — секретный ключ.

9. Нажмите Создать.

10. Дождитесь, когда статус инстанса изменится на «Готов».

11. Откройте карточку инстанса Trino. Информация из нее понадобится при подключении к DBeaver.

Подключите Trino к DBeaver

Отправьте SQL-запросы

1. Запустите DBeaver.

2. Создайте новый редактор SQL и введите команду:

   SHOW CATALOGS;
   
   

   В списке должен появиться коннектор «metastore_iceberg_lab».

3. Создайте схему:

   CREATE SCHEMA IF NOT EXISTS metastore_iceberg_lab.my_company_iceberg;
   
   

4. Создайте таблицу в каталоге Iceberg:

   CREATE TABLE IF NOT EXISTS metastore_iceberg_lab.my_company_iceberg.employees
   (
       id_employee INT,
       email VARCHAR(255)
   )
   WITH (
       format = 'PARQUET'
   
   );
   
   

5. Вставьте данные в таблицу:

   INSERT INTO metastore_iceberg_lab.my_company_iceberg.employees
   values (1, 'xxx@example.com'), (2, 'yyy@example.com'), (3, 'zzz@example.com');
   
   

6. Прочитайте данные из таблицы, чтобы убедиться, что данные записаны:

   SELECT *
   FROM metastore_iceberg_lab.my_company_iceberg.employees;
   
   

7. Вставьте данные в таблицу:

   INSERT INTO metastore_iceberg_lab.my_company_iceberg.employees
   values (4, 'ttt@example.com'), (5, 'ggg@example.com'), (6, 'iii@example.com');
   
   

8. Прочитайте данные из таблицы, чтобы убедиться, что данные записаны:

   SELECT *
   FROM metastore_iceberg_lab.my_company_iceberg.employees;
   
   

9. Прочитайте историю таблицы:

   SELECT *
   FROM metastore_iceberg_lab.my_company_iceberg."employees$history"
   ORDER BY made_current_at;
   
   

   В результате выполнения запроса будет выведена история изменений таблицы, содержащая записи о создании таблицы и добавлении в нее новых строк.

10. Добавьте данные в таблицу:

    INSERT INTO metastore_iceberg_lab.my_company_iceberg.employees
    values (7, 'qqq@example.com'), (8, 'www@example.com'), (9, 'eee@example.com');
    
    

11. Прочитайте данные из таблицы, чтобы проверить, что появилась еще одна запись:

    SELECT *
    FROM metastore_iceberg_lab.my_company_iceberg."employees$history"
    ORDER BY made_current_at;
    
    

12. Чтобы понаблюдать, как таблица менялась со временем, прочитайте данные из таблицы, подставляя в запрос различные значения из столбца made_current_at.

    SELECT *
    FROM metastore_iceberg_lab.my_company_iceberg.employees
    FOR TIMESTAMP AS OF TIMESTAMP 'YYYY-MM-DD HH:MM:SS.000 +0300';
    
    

    Где YYYY-MM-DD HH:MM:SS.000 — скопированное время создания таблицы.