Образ Spark — набор фреймворков и библиотек в формате Dockerfile, который используется при выполнении задач Spark.
Базовый образ сервиса Managed Spark — образ Spark, включающий набор пакетов, библиотек и сертификатов, необходимых для работы сервиса.
Ниже приведены описания доступных базовых образов сервиса Managed Spark.
Пользовательский образ Spark — образ Spark, собранный пользователем для выполнения определенной задачи или настройки Spark Connect.
При сборке пользовательских образов рекомендуется использовать базовые образы Managed Spark в качестве основы, так как они содержат все необходимые бибилиотеки и сертификаты.
Преимущества пользовательского образа:
В пользовательский образ можно добавить любые библиотеки, например библиотеки для работы с искусственным интеллектом или компьютерным зрением.
Все необходимые для проекта файлы включены в один Docker-образ.
Реализация CI/CD с помощью продуктов Repo и Workflow Studio:
Изменения в проект вносятся через запрос слияния в Repo.
Workflow Studio собирает Docker-образ в Artifact Registry.
Задача Spark запускается с применением обновленного Docker-образа.
Чтобы применить пользовательский образ, его необходимо загрузить в репозиторий Artifact Registry и выбрать из списка при создании задачи.
Пример обработки данных с помощью пользовательского образа Spark приведен в практическом руководстве.