Работа с таблицами Iceberg

Постановка задачи

1. Построить витрину данных, отражающую информацию о продажах.

2. Результат сохранить в формате Iceberg.

• CSV-таблица, в которой хранятся данные о поездке;

• JAR-файл Iceberg;

• Python-скрипт, который:

  • читает CSV-таблицу;

  • создает схему Data Frame;

  • выгружает данные в таблицу Parquet.

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Создайте бакет Object Storage, в котором будут храниться логи, таблицы, JAR-файл Iceberg и скрипт.

3. Установите и запустите CyberDuck.

4. Сверьте совместимость версий Spark и Iceberg.

5. Создайте кластер Data Platform с названием «dp-labs».

6. Скачайте и установите root-сертификат на устройство.

7. Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.

Создайте инстанс Spark

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры задайте:

   • Название — spark-iceberg.

   • Кластер — dp-labs.

4. В блоке Конфигурация оставьте значения по умолчанию.

5. В блоке Настройки выберите:

   • Место сохранения — Object Storage.

   • Бакет — созданный бакет S3.

6. В поле Лог-группа выберите группу логов по умолчанию.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности.

   • Подсеть — подсеть со sNAT-шлюзом.

     Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

     Вы можете создать новый секрет, нажав Создать новый секрет.

10. Нажмите Создать.

Подготовьте файл CSV

1. Скачайте CSV-таблицу iceberg-table.csv. Нажмите Скачать в правом верхнем углу.

2. Откройте CyberDuck.

3. В бакете Object Storage создайте папку «input» и загрузите CSV-таблицу в нее.

Подготовьте скрипт задачи

1. Скопируйте скрипт и назовите файл «iceberg-script.py».

   Python-скрипт

2. В строке ROOT_PATH = "s3a://<your-bucket-name>/input/" замените your-bucket-name на название бакета Object Storage.

3. В CyberDuck создайте папку «jobs» и загрузите скрипт в нее.

Подготовьте файл Iceberg JAR

1. Скачайте JAR-файл Iceberg для соответствующей версии Spark. Например, если версия Spark 3.5., скачайте «1.6.1 Spark 3.5_with Scala 2.12 runtime Jar».

2. Откройте CyberDuck.

3. В бакете Object Storage создайте папку «iceberg» и загрузите JAR-файл в нее. В рамках лабораторной работы файл iceberg-spark-runtime-3.5_2.12-1.6.1.jar.

Создайте задачу Spark

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. В списке инстансов Managed Spark откройте карточку инстанса «spark-iceberg».

3. Перейдите во вкладку Задачи.

4. Нажмите Создать задачу.

5. В блоке Общие параметры введите название задачи, например «iceberg».

6. В блоке Скрипт приложения выберите Python.

   • Путь к запускамому файлу — укажите путь к скрипту. В данном случае путь s3a://{bucket_name}/jobs/iceberg-script.py, где {bucket_name} — название созданного бакета Object Storage.

7. В блоке Настройки:

   • Добавить Spark-конфигурацию (–conf) — активируйте переключатель и введите:

     Параметр	Значение
     spark.sql.catalog.local	org.apache.iceberg.spark.SparkCatalog
     spark.sql.catalog.local.type	hadoop
     spark.sql.catalog.local.warehouse	s3a://{bucket_name}/ {bucket_name} — название созданного бакета Object Storage

   • Добавить зависимости — укажите путь к JAR-файлу. В данном случае путь s3a://{bucket_name}/iceberg/iceberg-spark-runtime-3.5_2.12-1.6.1.jar, где {bucket_name} — название созданного бакета Object Storage.

8. Нажмите Создать.

Мониторинг выполнения задачи

Перейдите в Spark UI

1. Откройте карточку инстанса.

2. Во вкладке Задачи нажмите Spark UI.

   В соседней вкладке откроется интерфейс Spark UI.

3. Вернитесь на карточку инстанса и откройте вкладку Информация.

4. Скопируйте данные из блока Настройки доступа.

5. Введите данные инстанса:

   • Username — значение поля Пользователь.

   • Password — значение секрета в поле Пароль.

В интерфейсе Spark UI вы найдете информацию о ходе выполнения задачи.

Проверьте результат

• metadata с описательной частью данных;

• data с таблицей Parquet с результатом работы скрипта.