/ DOCS
Evolution
Тема интерфейса

Работа с таблицами Delta Lake

В этой лабораторной работе вы обработаете таблицу формата Delta Lake с помощью Spark.

Постановка задачи

  1. Построить витрину данных, отражающую полную информацию о клиентах и их пути.

  2. Сохранить результат в формате Delta Lake.

  3. Выгрузить историю изменений таблицы в логи.

В лабораторной работе вам понадобятся:

  • CSV-таблица, в которой хранятся данные о поездке;

  • Python-скрипт.

Перед началом работы

  1. Если вы уже зарегистрированы, войдите под своей учетной записью.

  2. Создайте публичный SNAT-шлюз, для доступа инстанса к внешним источникам.

  3. Создайте бакет Object Storage, в котором будут храниться логи, таблицы и скрипт.

  6. Создайте кластер Data Platform, в котором будет размещен инстанс.

    Назовите кластер «dp-labs».

  8. Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.

Создайте инстанс Spark

  1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

  2. Нажмите Создать инстанс.

  3. В блоке Общие параметры задайте:

    • Название — spark-delta.

    • Кластер — dp-labs.

  4. В блоке Конфигурация оставьте значения по умолчанию.

  5. В блоке Настройки выберите:

    • Место сохранения — Object Storage.

    • Бакет — ранее созданный бакет S3.

  6. В поле Лог-группа выберите группу логов по умолчанию.

  7. Нажмите Продолжить.

  8. В блоке Сетевые настройки выберите:

  9. В блоке Настройки доступа:

    • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

    • Логин — задайте логин для доступа к Spark.

    • Пароль — выберите секрет для доступа к Spark.

      Вы можете создать новый секрет, нажав Создать новый секрет.

  10. В блоке Настройки доступа:

    • Подключить публичный хост — активируйте переключатель.

    • Логин — задайте логин для доступа к Spark.

    • Пароль — выберите секрет для доступа к Spark.

  11. Нажмите Создать.

Создание инстанса занимает около 15 минут. Пока создается инстанс, выполните шаги по подготовке структуры бакета Object Storage, данных и скрипта.

Подготовьте файл CSV

  1. Скачайте CSV-таблицу delta-table.csv. Нажмите Скачать в правом верхнем углу.

  2. В файловом менеджере Object Storage создайте папку «input».

  3. Загрузите CSV-таблицу в нее.

Подготовьте скрипт задачи

  1. Скопируйте скрипт и назовите файл «delta-script.py».

  2. В строке ROOT_PATH = "s3a://your-bucket-name/" скрипта замените your-bucket-name на название бакета Object Storage.

  3. В файловом менеджере Object Storage создайте папку «jobs».

  4. Загрузите скрипт в нее.

В результате должна получиться следующая структура:

  • <bucket>

    • input

      • delta-table.csv

    • jobs

      • delta-script.py

Создайте задачу Spark

Для продолжения работы убедитесь, что статус инстанса Spark в личном кабинете изменился на «Готов».

  1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

  2. В списке инстансов Managed Spark откройте карточку инстанса «spark-delta».

  3. Перейдите во вкладку Задачи.

  4. Нажмите Создать задачу.

  5. В блоке Общие параметры введите название задачи, например «delta».

  6. В блоке Скрипт приложения выберите Python:

    • Путь к запускаемому файлу — укажите путь к скрипту. В данном случае путь s3a://{bucket_name}/jobs/delta-script.py, где {bucket_name} — название созданного бакета Object Storage.

  7. В блоке Настройки активируйте переключатель Добавить Spark-конфигурацию (–conf) и введите:

    Параметр

    Значение

    spark.jars.packages

    io.delta:delta-spark_2.12:3.2.0

    spark.sql.extensions

    io.delta.sql.DeltaSparkSessionExtension

    spark.sql.catalog.spark_catalog

    org.apache.spark.sql.delta.catalog.DeltaCatalog

    spark.log.level

    ERROR

  8. Нажмите Создать.

Задача Spark начнет выполняться и отобразится на странице инстанса во вкладке Задачи.

Мониторинг выполнения задачи

Вы можете посмотреть логи задачи, когда задача находится в статусах «Выполняется» и «Готово», то есть как в процессе выполнения, так и по завершению задачи.

Перейдите к логам

  1. Откройте карточку инстанса.

  2. Во вкладке Задачи скопируйте ID задачи.

  3. Нажмите Горизонтальное меню и выберите Перейти к логам.

  4. В поле Запрос введите labels.spark_job_id="ID", где ID — идентификатор задачи, скопированный ранее.

  5. Нажмите Обновить.

В таблице отобразятся логи задачи. Нажмите на строку, чтобы развернуть запись.

Перейдите в Spark UI

  1. Откройте карточку инстанса.

  2. Во вкладке Задачи нажмите Spark UI.

    В соседней вкладке откроется интерфейс Spark UI.

  3. Вернитесь на карточку инстанса и откройте вкладку Информация.

  4. Скопируйте данные из блока Настройки доступа.

  5. Введите данные инстанса:

    • Username — значение поля Пользователь.

    • Password — значение секрета в поле Пароль.

В интерфейсе Spark UI вы найдете информацию о ходе выполнения задачи.

../_images/spark-ui__delta-timeline.PNG ../_images/spark-ui__delta-completed-jobs.PNG

Проверьте результат

Когда задача перейдет в статус «Выполнено», откройте Object Storage. В бакете появится новая папка с названием формата delta-lab_<TIME_STAMP>. В этой папке хранятся:

  • версии таблицы «delta-table.csv»;

  • папка _delta_log с логами задачи.

Чтобы посмотреть историю изменений таблицы с помощью метода history():

  1. На странице Managed Spark перейдите на вкладку Задачи.

  2. Скопируйте ID задачи.

  3. Нажмите Горизонтальное меню и выберите Перейти к логам.

  4. В поле Запрос введите labels.spark_job_id="ID", где ID — идентификатор задачи, скопированный ранее.

  5. Нажмите Скачать журнал логов.

  6. Выберите формат файла.

  7. Нажмите Скачать.

  8. Откройте скачанный файл.

История изменений отображается в нескольких сообщениях.

Предыдущая статья
Работа с таблицами Iceberg
Следующая статья
Концепции
Была ли эта статья полезна?
Поддержка Юридические документы
© 2025 Cloud.ru