С помощью этого руководства вы настроите агентную систему для анализа производительности и оптимизации задач Managed Spark. Вы запустите тестовую задачу Managed Spark, и AI-агент выполнит поиск параметров, которые можно изменить для уменьшения времени выполнения задачи.
Вы будете использовать следующие сервисы:
Managed Spark — сервис, который позволяет развернуть кластерное вычислительное решение на основе Apache Spark для распределенной обработки данных.
AI Agents для разработки, развертывания и эксплуатации автономных AI-агентов в единой среде.
Object Storage — объектное S3-хранилище с бесплатным хранением файлов объемом до 15 ГБ.
Шаги:
Перед началом работы
Зарегистрируйтесь в личном кабинете Cloud.ru.
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте пароль и добавьте его в Secret Management. Этот секрет станет паролем для доступа к интерфейсу Managed Spark.
Создайте бакет Object Storage, в котором будут храниться необходимые файлы и логи.
Скачайте и установите root-сертификат на устройство.
Создайте кластер Data Platform, в котором будет размещен инстанс.
Создайте инстанс Managed Spark. В блоке Настройки доступа активируйте опцию Подключить публичный хост.
1. Подготовьте файлы с данными
На этом шаге вы подготовите и загрузите в хранилище Object Storage файлы с данными для задачи Managed Spark.
В ранее созданном бакете Object Storage создайте папку data.
Внутри папки data создайте папки client и sales.
Загрузите набор файлов client в папку client.
Загрузите набор файлов sales в папку sales.
2. Подготовьте скрипт задачи Managed Spark
На этом шаге вы подготовите и загрузите в хранилище Object Storage файл, содержащий скрипт задачи Spark.
Скопируйте скрипт и назовите файл example.py.
Python-скрипт тестовой задачиВ строке BASE = "s3a://bucket-name/data" замените bucket-name на название ранее созданного бакета.
В ранее созданном бакете Object Storage создайте папку jobs.
Загрузите файл со скриптом в папку jobs.
Проверьте размещение файлов в Object Storage.
Структура бакета с файлами
3. Запустите задачу Managed Spark
На этом шаге вы создадите задачу Managed Spark с использованием подготовленного скрипта.
Для продолжения работы убедитесь, что статус инстанса Managed Spark изменился на «Готов».
Перейдите в сервис Managed Spark.
Откройте созданный ранее инстанс.
Перейдите на вкладку Задачи.
Нажмите Создать задачу.
В блоке Общие параметры введите название задачи, например spark-example.
В блоке Образ выберите базовый образ Spark-4.0.0.
В блоке Скрипт приложения:
В поле Тип запускаемой задачи выберите Python.
В поле Путь к запускаемому файлу укажите путь к файлу example.py. В данном случае путь s3a://bucket-name/jobs/example.py, где bucket-name — название созданного ранее бакета Object Storage.
Нажмите Создать.
Задача Managed Spark начнет выполняться и отобразится на странице инстанса на вкладке Задачи.
4. Создайте агентную систему
На этом шаге вы создадите агентную систему для работы с задачами Spark.
Откройте созданный ранее инстанс Managed Spark.
Перейдите на вкладку AI-Агент.
Нажмите Создать агентную систему.
В блоке Логирование в поле Лог-группа выберите лог-группу.
Нажмите Создать.
5. Получите детали задачи Managed Spark с помощью AI-агента
На этом шаге вы отправите запросы AI-агенту и посмотрите детали выполнения задачи Managed Spark.
Для продолжения работы убедитесь, что статус агентной системы изменился на «Готов к работе», а статус задачи Managed Spark — на «Завершена».
На вкладке с сервисом Managed Spark откройте вкладку Задачи.
Нажмите на название завершенной задачи.
В поле ID cкопируйте идентификатор задачи.
Перейдите на вкладку AI-Агент.
Справа от названия агентной системы нажмите
.
Откроется новая вкладка с агентной системой в интерфейсе сервиса AI Agents.В списке агентов для ответа выберите spark-agent-xx.
В окне Чат введите запрос: Покажи детали задачи <id>, вместо <id> вставьте скопированный идентификатор задачи. Посмотрите время выполнения задачи.
6. Оптимизируйте задачу Managed Spark
На этом шаге вы отправите запросы разным агентам системы и улучшите время выполнения задачи Managed Spark.
В окне Чат введите запрос: Ускорь задачу.
Подтвердите запуск оптимизированной задачи.
Когда новая задача сменит статус на «Завершена», повторите запрос Покажи детали задачи <id>. Вместо <id> вставьте идентификатор второй задачи. Сравните время выполнения задач.
На вкладке со списком задач Managed Spark нажмите на название завершенной задачи.
В блоке Скрипт приложения в поле Путь к запускаемому файлу cкопируйте путь.
На вкладке с агентной системой в списке агентов для ответа выберите s3-agent-xx.
В окне Чат введите запрос: Выведи скрипт <path>, вместо <path> вставьте скопированный путь.
Скопируйте скрипт.
В списке агентов для ответа выберите spark-agent-xx.
Отправьте запрос Оптимизируй скрипт <script>, вместо <script> вставьте скопированный скрипт.
Cохраните оптимизированный скрипт и загрузите его в хранилище Object Storage.
Подтвердите запуск оптимизированной задачи.
Когда новая задача сменит статус на «Завершена», повторите запрос Покажи детали задачи <id>. Вместо <id> вставьте идентификатор новой задачи. Сравните время выполнения задач.
Результат
Вы создали агентную систему для работы с сервисом Managed Spark. Вы использовали AI-агентов для анализа и оптимизации задачи Managed Spark.