- tocdepth
2
Создать инстанс
В этой инструкции рассмотрены шаги по созданию инстанса Spark и требования к группе безопасности.
Для работы со Spark необходим бакет S3. Можно использовать:
внутренний S3 Evolution Object Storage;
внешний S3 другого провайдера.
Перед началом работы
Зарегистрируйтесь в личном кабинете Cloud.ru.
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте публичный SNAT-шлюз для инстанса Spark.
Убедитесь, что в проекте есть группа безопасности с разрешающим правилом для входящего и исходящего трафика той подсети, в которой вы хотите разместить инстанс Spark.
Если подходящей группы безопасности нет, создайте ее и разрешающее правило.
(Опционально) Если вы используете внешний S3, добавьте
access keyиsecret keyв Secret Manager.(Опционально) Если вы планируете добавить пользовательский образ Spark:
Создайте сервисный аккаунт с ролью для Artifact Registry
ar.registry.viewer.
Порядок действий
Перейдите в раздел Evolution и выберите сервис Managed Spark.
Нажмите Создать инстанс.
В блоке Общие параметры:
Название — введите название инстанса.
(Опционально) Описание — добавьте описание.
Сервисный аккаунт — выберите сервисный аккаунт с ролью
ar.registry.viewer.Аккаунт обеспечивает доступ к Artifact Registry и позволяет использовать пользовательские образы для Spark-задач.
В блоке Конфигурация:
Выберите вычислительные ресурсы.
Выберите количество рабочих узлов.
В блоке Настройки:
Место хранения — выберите, где будет храниться журнал событий:
Бакет — выберите бакет сервиса Evolution Object Storage.
Если нужного бакета нет, создайте новый, нажав Создать бакет.
Эндпоинт — эндпоинт к бакету S3 внешнего провайдера.
Идентификатор ключа доступа — выберите
access keyиз списка.Секретный ключ доступа — выберите
secret keyиз списка.Бакет — введите имя бакета в формате
s3a://<bucket_name>.Поддерживается только протокол s3a.
В поле Группа логов выберите группу, в которой будут храниться записи событий и алерты инстанса Spark.
Если нужной группы нет, создайте новую, нажав Создать группу логов.
Нажмите Продолжить.
В блоке Сетевые настройки:
Подсеть — выберите подсеть для инстанса Spark.
Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.
Группа безопасности — выберите группу безопасности с разрешающим правилом на входящий и исходящий трафик.
Если нужной группы безопасности нет, создайте новую, нажав Создать новую группу.
В блоке Настройки доступа:
Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.
Логин — задайте логин для доступа к Spark.
Пароль — выберите секрет для доступа к Spark.
Вы можете создать новый секрет, нажав Создать новый секрет.
Нажмите Создать.
Инстанс Spark отобразится на странице сервиса. Для продолжения работы убедитесь, что статус изменился на «Готов».
Нажмите на карточку инстанса, чтобы начать работу со Spark:
создайте задачи Spark;
посмотрите список задач на вкладке Задачи;
посмотрите информацию об инстансе на вкладке Информация.
для Dev & Test