Создать инстанс

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Убедитесь, что в проекте есть группа безопасности с разрешающим правилом для входящего и исходящего трафика той подсети, в которой вы хотите разместить инстанс Spark.

   Если подходящей группы безопасности нет, создайте ее и разрешающее правило.

3. Создайте сервисный аккаунт с ролями:

   • ar.registry.viewer — если планируете добавить пользовательский образ Spark.

   • s3e.viewer и s3e.editor — если планируете использовать Evolution Object Storage.

4. (Опционально) Если вы планируете добавить пользовательский образ Spark, загрузите его в Artifact Registry.

Порядок действий

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры:

   • Название — введите название инстанса.

   • (Опционально) Описание — добавьте описание.

   • Сервисный аккаунт — выберите сервисный аккаунт с необходимыми ролями.

     Аккаунт обеспечивает доступ к Artifact Registry и Evolution Object Storage.

4. В блоке Конфигурация:

   • Вычислительные ресурсы — выберите конфигурацию.

   • Количество воркеров — выберите количество воркеров.

   • (Опционально) Автомасштабирование — активируйте переключатель, чтобы включить автомасштабирование.

   • (Опционально) Минимальное и максимальное количество воркеров — передвиньте ползунки на нужные значения.

5. В блоке Настройки:

   Место хранения — выберите, где будет храниться журнал событий:

   ---

   Object Storage

   Внешний S3

   • Бакет — выберите бакет сервиса Evolution Object Storage.

   Если нужного бакета нет, создайте новый, нажав Создать бакет.

6. В поле Группа логов выберите группу, в которой будут храниться записи событий и алерты инстанса Spark.

   Если нужной группы нет, создайте новую, нажав Создать группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки:

   • Подсеть — выберите подсеть для инстанса Spark.

     Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.

   • Группа безопасности — выберите группу безопасности с разрешающим правилом на входящий и исходящий трафик.

     Если нужной группы безопасности нет, создайте новую, нажав Создать новую группу.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

     Вы можете создать новый секрет, нажав Создать новый секрет.

10. Нажмите Создать.

• создайте задачи Spark;

• посмотрите список задач на вкладке Задачи;

• посмотрите информацию об инстансе на вкладке Информация.