Работа с пользовательским образом

Постановка задачи

1. Построить витрину данных, объединяющую информацию о заказах из двух таблиц.

2. Найти среднюю стоимость заказа.

3. Подсчитать расхождение суммы каждого заказа со средней стоимостью заказа.

Чтобы выполнить задачу, необходимо подготовить пользовательский образ и Python-скрипт. Пользовательский образ включает библиотеки для работы с S3 и библиотеку NumPy. Cкрипт выполняет действия с данными.

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Создайте публичный SNAT-шлюз, чтобы обеспечить инстансу доступ в интернет и связь с внешними источниками.

3. Создайте секрет в сервисе Secret Manager для доступа к Spark UI.

4. Создайте бакет Object Storage, в котором будут храниться логи, таблицы и скрипт.

5. Создайте сервисный аккаунт с ролями:

   • ar.registry.viewer — если планируете добавить пользовательский образ Spark.

   • s3e.viewer и s3e.editor — если планируете использовать Evolution Object Storage.

6. Создайте реестр Artifact Registry, в котором будет храниться пользовательский образ Spark.

Создайте инстанс Spark

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры укажите название инстанса, например spark-image.

4. В блоке Конфигурация оставьте значения по умолчанию.

5. В блоке Настройки:

   • Место хранения — выберите Object Storage.

   • Бакет — выберите ранее созданный бакет S3.

6. В поле Группа логов выберите группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки:

   • Подсеть — выберите подсеть для инстанса Spark.

   • Группа безопасности — выберите группу безопасности по умолчанию.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте переключатель.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

10. Нажмите Создать.

Создание инстанса занимает около 15 минут. Пока создается инстанс, выполните шаги по подготовке структуры бакета Object Storage, данных и скрипта.

Подготовьте файл CSV

1. Скачайте CSV-таблицы client-spark-image.csv и sales-spark-image.csv. Нажмите Скачать в правом верхнем углу.

2. В файловом менеджере Object Storage создайте папку input и загрузите CSV-таблицы.

Подготовьте скрипт

1. Скопируйте скрипт и назовите файл script-spark-image.py.

   Python-скрипт

2. В девятой строке скрипта замените your-bucket-name на название бакета Object Storage.

3. В файловом менеджере Object Storage создайте папку jobs и загрузите скрипт.

В результате должна получиться следующая структура:

• <bucket>

  • input

    • sales-spark-image.csv

    • client-spark-image.csv

  • jobs

    • script-spark-image.py

Подготовьте образ в Artifact Registry

1. Создайте образ в формате Docker.

   FROM   apache/spark:3.5.0-scala2.12-java11-python3-ubuntu 
   
    # add S3 libs 
    RUN   curl   https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/1.12.262/aws-java-sdk-bundle-1.12.262.jar   -o   /opt/spark/jars/aws-java-sdk-bundle-1.12.262.jar
    RUN   curl   https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/3.3.4/hadoop-aws-3.3.4.jar   -o   /opt/spark/jars/hadoop-aws-3.3.4.jar
   
    ARG   spark_uid = root
    USER   ${spark_uid} 
   
    # install compartible numpy version 
    RUN   pip   install   numpy == 1 .21.6
   
   

2. В сервисе Artifact Registry:

   1. Создайте репозиторий.

   2. Загрузите образ.

Создайте задачу

Для продолжения работы убедитесь, что статус инстанса Spark изменился на «Готов».

1. В списке инстансов Managed Spark откройте карточку инстанса «spark-image».

2. Перейдите на вкладку Задачи.

3. Нажмите Создать задачу.

4. В блоке Общие параметры введите название задачи, например spark-image-sales.

5. В блоке Образ:

   1. Выберите Пользовательский.

   2. Под полем URI образа нажмите Выбрать из реестра и выберите добавленный ранее образ.

6. В блоке Скрипт приложения выберите Python.

7. Укажите путь к запускаемой программе. В данном случае путь s3a://{bucket_name}/jobs/script-spark-image.py, где {bucket_name} — название созданного бакета Object Storage.

8. Нажмите Создать.

Задача Spark начнет выполняться и отобразится на странице инстанса на вкладке Задачи.

Мониторинг выполнения задачи

Вы можете посмотреть логи задачи, когда задача находится в статусах «Выполняется» и «Готово», то есть как в процессе выполнения, так и по завершению задачи.

Проверьте результат

Когда задача перейдет в статус «Выполнено», откройте файловый менеджер Object Storage.

В бакете появится новая папка output. В ней хранится сводная таблица данных.