Обработка данных из Object Storage

Постановка задачи

Необходимо построить витрину данных, отражающую полную информацию о клиентах и продажах.

Таблица client.csv содержит информацию о клиентах: номер заказа, дату, город, имя и фамилию клиента, модель автомобиля и др.

Таблица sales.csv содержит информацию о продажах: номер заказа и его сумму.

В результате должна получиться таблица, в которой данные объединены по номеру заказа.

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Чтобы обеспечить инстансу доступ в интернет и связь с внешними источниками, создайте публичный SNAT-шлюз.

3. Создайте секрет в сервисе Secret Manager для доступа к Spark UI.

4. Создайте сервисный аккаунт с ролями:

   • s3e.viewer

   • s3e.editor

Создайте бакет Object Storage

1. Создайте бакет Object Storage по инструкции.

2. Установите и запустите CyberDuck по инструкции.

Создайте инстанс Spark

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры укажите название инстанса, например spark-lab.

4. В блоке Конфигурация оставьте значения по умолчанию.

5. В блоке Настройки:

   • Место хранения — выберите Object Storage.

   • Бакет — выберите ранее созданный бакет S3.

6. В поле Группа логов выберите группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки:

   • Подсеть — выберите подсеть для инстанса Spark.

   • Группа безопасности — выберите группу безопасности по умолчанию.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте переключатель.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

10. Нажмите Создать.

Создание инстанса занимает около 15 минут. Пока создается инстанс, выполните шаги по подготовке структуры бакета Object Storage, данных и скрипта.

Подготовьте данные и скрипт

В лабораторной работе вам понадобятся:

• таблица в формате CSV client.csv, которая содержит информацию о клиентах и деталях заказа;

• таблица в формате CSV sales.csv, которая содержит информацию о продажах: ID заказа и сумму.

• Python-скрипт, который:

  • читает таблицы sales.csv и client.csv;

  • объединяет таблицы по колонке order_number;

  • выгружает перечисленные в скрипте колонки.

Выполните следующие шаги, чтобы подготовить структуру бакета Object Storage и загрузить на него нужные файлы.

Подготовьте файлы CSV

1. Скачайте sales.csv и client.csv. Нажмите Скачать в правом верхнем углу.

2. Откройте CyberDuck.

3. В бакете Object Storage создайте папку input.

4. В этой папке создайте папку car-sales.

5. Переместите CSV-таблицы в папку car-sales.

Скопируйте скрипт задачи

1. Скопируйте скрипт и назовите файл spark-sales-etl.py.

   Python-скрипт

2. В 11-й строке скрипта замените your-bucket-name на название бакета Object Storage.

3. В CyberDuck создайте папку jobs.

4. Поместите скрипт в нее.

В результате получится следующая структура бакета с файлами:

Создайте задачу Spark

Для продолжения работы убедитесь, что статус инстанса Spark изменился на «Готов».

1. В списке инстансов Managed Spark откройте карточку инстанса spark-lab.

2. Перейдите во вкладку Задачи.

3. Нажмите Создать задачу.

4. В блоке Общие параметры введите название задачи, например spark-sales.

5. В блоке Скрипт приложения выберите Python.

6. Укажите путь к запускаемой программе. В данном случае путь s3a://{bucket_name}/jobs/spark-sales-etl.py, где {bucket_name} — название созданного бакета Object Storage.

7. Нажмите Создать.

Задача Spark начнет выполняться и отобразится на странице инстанса во вкладке Задачи.

Мониторинг выполнения задачи

Вы можете посмотреть логи задачи, когда задача находится в статусах «Выполняется» и «Готово», то есть как в процессе выполнения, так и по завершению задачи.

Перейдите в Spark UI

1. Откройте карточку инстанса.

2. Во вкладке Задачи нажмите Spark UI.

   В соседней вкладке откроется интерфейс Spark UI.

3. Вернитесь на карточку инстанса и откройте вкладку Информация.

4. Скопируйте данные из блока Настройки доступа.

5. Введите данные инстанса:

   • Username — значение поля Пользователь.

   • Password — значение секрета в поле Пароль.

В интерфейсе Spark UI вы найдете информацию о ходе выполнения задачи.

Проверьте результат

Когда задача перейдет в статус «Выполнено», откройте CyberDuck. В бакете появятся:

• новая папка sales;

• таблица с объединенными данными из sales.csv и client.csv.