Создать инстанс

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Настройте DNS-сервер и подсеть.

3. Создайте кластер Data Platform, в котором будет размещен инстанс.

4. Скачайте и установите root-сертификат на устройство.

5. Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.

6. (Опционально) Если вы собираетесь обращаться к внешним источникам, создайте sNAT-шлюз в VPC-сети, в которой создан кластер Data Platform.

7. (Опционально) Если вы планируете добавить пользовательский образ Spark, загрузите его в Artifact Registry.

Порядок действий

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры:

   • Название — введите название инстанса.

   • (Опционально) Описание — добавьте описание.

   • Кластер — выберите кластер Data Platform, на котором будет развернут инстанс Spark. Выбор кластера влияет на сеть VPC, в которой будет располагаться инстанс.

4. В блоке Конфигурация:

   • Вычислительные ресурсы — выберите конфигурацию.

   • Количество воркеров — выберите количество воркеров.

   • Автомасштабирование — активируйте переключатель, чтобы включить автомасштабирование.

   • (Опционально) Минимальное и максимальное количество воркеров — передвиньте ползунки на нужные значения.

5. В блоке Настройки:

   Место сохранения — выберите, где будет храниться журнал событий:

   ---

   Object Storage

   Внешний S3

   • Бакет — выберите бакет сервиса Evolution Object Storage.

   Если нужного бакета нет, создайте новый, нажав Создать бакет.

6. В поле Лог-группа выберите группу, в которой будут храниться записи событий и алерты инстанса Spark.

   Если нужной группы нет, создайте новую, нажав Создать группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности.

   • Подсеть — подсеть со sNAT-шлюзом и с DNS-сервером.

     Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

     Вы можете создать новый секрет, нажав Создать новый секрет.

10. Нажмите Создать.

• создайте задачи Spark;

• посмотрите список задач на вкладке Задачи;

• посмотрите информацию об инстансе на вкладке Информация.