Создать инстанс
В этой инструкции рассмотрены шаги по созданию инстанса Spark и требования к группе безопасности.
Для работы со Spark необходим бакет S3. Можно использовать:
внутренний S3 Evolution Object Storage;
внешний S3 другого провайдера.
Перед началом работы
-
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте кластер Data Platform.
Скачайте и установите root-сертификат на устройство.
Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.
(Опционально) Если вы планируете добавить пользовательский образ Spark, загрузите его в Artifact Registry.
Порядок действий
Перейдите в раздел Evolution и выберите сервис Managed Spark.
Нажмите Создать инстанс.
В блоке Общие параметры:
Название — введите название инстанса.
(Опционально) Описание — добавьте описание.
Кластер — выберите кластер Data Platform, на котором будет развернут инстанс Spark. Выбор кластера влияет на сеть VPC, в которой будет располагаться инстанс.
В блоке Конфигурация:
Вычислительные ресурсы — выберите конфигурацию.
Количество воркеров — выберите количество воркеров.
Автомасштабирование — активируйте переключатель, чтобы включить автомасштабирование.
(Опционально) Минимальное и максимальное количество воркеров — передвиньте ползунки на нужные значения.
В блоке Настройки:
Место сохранения — выберите, где будет храниться журнал событий:
Бакет — выберите бакет сервиса Evolution Object Storage.
Если нужного бакета нет, создайте новый, нажав Создать бакет.
В поле Лог-группа выберите группу, в которой будут храниться записи событий и алерты инстанса Spark.
Если нужной группы нет, создайте новую, нажав Создать группу логов.
Нажмите Продолжить.
В блоке Сетевые настройки выберите:
Зона доступности — зону доступности.
Подсеть — подсеть со sNAT-шлюзом.
Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.
В блоке Настройки доступа:
Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.
Логин — задайте логин для доступа к Spark.
Пароль — выберите секрет для доступа к Spark.
Вы можете создать новый секрет, нажав Создать новый секрет.
Нажмите Создать.
Инстанс Spark отобразится на странице сервиса. Для продолжения работы убедитесь, что статус изменился на «Готов».
Нажмите на карточку инстанса, чтобы начать работу со Spark:
создайте задачи Spark;
посмотрите список задач на вкладке Задачи;
посмотрите информацию об инстансе на вкладке Информация.
- Перед началом работы
- Порядок действий