Работа с пользовательским образом

Постановка задачи

1. Построить витрину данных, объединяющую информацию о заказах из двух таблиц.

2. Найти среднюю стоимость заказа.

3. Подсчитать расхождение суммы каждого заказа со средней стоимостью заказа.

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Создайте бакет Object Storage, в котором будут храниться логи, таблицы и скрипт.

3. Создайте реестр Artifact Registry, в котором будет храниться пользовательский образ Spark.

4. Настройте DNS-сервер и подсеть.

5. Создайте кластер Data Platform, в котором будет размещен инстанс.

   Назовите кластер «dp-labs».

6. Скачайте и установите root-сертификат на устройство.

7. Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.

Создайте инстанс Spark

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры:

   • Название — spark-image.

   • Кластер — dp-labs.

4. В блоке Конфигурация оставьте значения по умолчанию.

5. В блоке Настройки выберите:

   • Место хранения — Object Storage.

   • Бакет — ранее созданный бакет S3.

6. В поле Лог-группа выберите группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности.

   • Подсеть — подсеть со sNAT-шлюзом и с DNS-сервером.

     Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

     Вы можете создать новый секрет, нажав Создать новый секрет.

10. Нажмите Создать.

Подготовьте файл CSV

1. Скачайте CSV-таблицы client-spark-image.csv и sales-spark-image.csv. Нажмите Скачать в правом верхнем углу.

2. В файловом менеджере Object Storage создайте папку input и загрузите CSV-таблицы.

Подготовьте скрипт

1. Скопируйте скрипт и назовите файл script-spark-image.py.

   Python-скрипт

2. В строке bucket_name = 'your-bucket-name' замените your-bucket-name на название бакета Object Storage.

3. В файловом менеджере Object Storage создайте папку jobs и загрузите скрипт.

• <bucket>

  • input

    • sales-spark-image.csv

    • client-spark-image.csv

  • jobs

    • script-spark-image.py

Подготовьте образ в Artifact Registry

1. Создайте образ в формате Dockerfile.

   FROM apache/spark:3.5.0-scala2.12-java11-python3-ubuntu
   
   # add S3 libs
   RUN curl https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/1.12.262/aws-java-sdk-bundle-1.12.262.jar -o /opt/spark/jars/aws-java-sdk-bundle-1.12.262.jar
   RUN curl https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/3.3.4/hadoop-aws-3.3.4.jar -o /opt/spark/jars/hadoop-aws-3.3.4.jar
   
   ARG spark_uid=root
   USER ${spark_uid}
   
   # install compartible numpy version
   RUN pip install numpy==1.21.6
   
   

2. Чтобы собрать образ, выполните команду:

   docker build . --tag <IMAGE-NAME>:<TAG> --platform linux/amd64
   
   

   Где:

   • <IMAGE-NAME> — имя образа.

   • <TAG> — тэг образа.

3. В сервисе Artifact Registry:

   1. Создайте репозиторий.

   2. Загрузите образ.

Создайте задачу

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. В списке инстансов Managed Spark откройте карточку инстанса «spark-image».

3. Перейдите на вкладку Задачи.

4. Нажмите Создать задачу.

5. В блоке Общие параметры введите название задачи, например spark-image-sales.

6. В блоке Образ:

   1. Выберите Пользовательский.

   2. Под полем URI образа нажмите Выбрать из реестра и выберите добавленный ранее образ.

7. В блоке Скрипт приложения выберите Python.

8. Укажите путь к запускаемой программе. В данном случае путь s3a://{bucket_name}/jobs/script-spark-image.py, где {bucket_name} — название созданного бакета Object Storage.

9. Нажмите Создать.

Мониторинг выполнения задачи

Проверьте результат