Разработчик «Жива Технологии» развернул приложение с AI-ассистентом в облаке Cloud.ru
Компания арендует виртуальные машины с GPU А-100 для тестовой и продовой среды
Результат
О компании
«Жива Технологии» — разработчик приложения JIVA, ассистента для поддержки здорового образа жизни. Приложение совмещает в себе консультанта по питанию и фитнесу: рассчитывает необходимый организму объем воды, разрабатывает индивидуальный фитнес-план, фиксирует ошибки во время выполнения упражнений и формирует шаги, чтобы пользователь мог достичь поставленной цели.
JIVA выполняет роль персонального фитнес-тренера. Но в отличие от других программ и приложений по ЗОЖ, роль реального куратора, закрепленного за пользователем, выполняет искусственный интеллект. Пользователю достаточно загрузить фото блюда, и алгоритм приложения сам рассчитает вес порции, содержание макро- и микро-нутриентов, баланс КБЖУ и даст рекомендации, какие ингредиенты стоит заменить, чтобы соблюдать норму.
Задача
Ядро приложения JIVA — искусственный интеллект: модели для распознавания нутриентов по фото, встроенный AI-ассистент на базе LLM, а также каскад моделей по детекции и распознаванию физических упражнений, которые клиент собрал на open source. Для обучения и инференса этих моделей разработчику требовались видеокарты с GPU.
Специалисты «Жива Технологии» понимали, что покупать свои графические процессоры для такой задачи экономически невыгодно, поэтому решили использовать облачные мощности с графическими процессорами. Причем в облаке они планировали использовать не только виртуальные машины с GPU, но и другие сервисы, чтобы развернуть бэкенд приложения и сами модели, мониторить их работоспособность и управлять ресурсами в одном месте.
Почему Cloud.ru
От облака нам были нужны не только виртуальные машины с GPU, но и полный спектр сервисов для резервного копирования, мониторинга и логирования работы всей нашей инфраструктуры, чтобы промышленная среда была всегда доступна и приложение работало корректно.
Мы смогли удовлетворить ожидания и предоставили графические процессоры тех конфигураций, которые требовались клиенту для обучения и инференса AI-моделей в облаке.
Решение
Бэкенд приложения и AI-модель для подбора физических упражнений клиент развернул на пяти виртуальных машинах Advanced Elastic Cloud Server на платформе Cloud.ru Advanced. Там же подключил сервисы для мониторинга, логирования и работы с базами данных:
- Advanced Log Tank Service — сервис для сбора логов с хостов и облачных сервисов для централизованного управления и анализа больших объемов логов в реальном времени,
- Advanced Elastic Load Balance — облачный балансировщик нагрузки автоматически распределяет входящий трафик между множеством серверов,
- Advanced Object Storage — сервис хранения и управления объектным хранилищем данных,
- Advanced Cloud Backup and Recovery — сервис для резервного копирования и восстановления данных,
- Advanced Distributed Cache Service for Redis — высокопроизводительный распределенный сервис кеширования данных в оперативной памяти,
- Advanced Application Operation Management (AOM) — универсальная платформа управления O&M, которая позволяет пользователю контролировать свои приложения и отслеживать изменения их производительности и ресурсов в реальном времени,
- Advanced Relational Database Service for PostgreSQL — сервис управления базами данных с комплексным мониторингом производительности, многоуровневой системой безопасности и поддержкой PostgreSQL.
Готовые сервисы мониторинга и логирования удобны тем, что не требуют вложения времени и компетенций в настройку и администрирование: пользователь выбирает подходящий сервис и сразу начинает им пользоваться.
Для большой языковой модели разработчик выбрал две платформы: Cloud.ru Evolution для тестовой среды и дообучения модели и Cloud.ru Advanced для продовой среды и инференса модели. Соединил платформы между собой зашифрованным каналом связи через интернет
Тестовую среду клиент развернул на виртуальных машинах Evolution Compute c GPU с гарантированной долей vCPU 30% 8vCPU 16GB RAM. Для тестирования использовал одну GPU-карту A100 — она позволяет проводить эксперименты по улучшению и тестированию LLM-моделей. Также подключил объектное хранилище Evolution Object Storage для сбора данных, на которых точечно дообучается модель, и хранения бенчмарков, по которым проверяется работоспособность LLM.
Продовую среду разработчик развернул на виртуальных машинах на платформе Cloud.ru Advanced с такими характеристиками: 20 vCPU 117 GB RAM 1 x A100 NVIDIA 80 GB.
Результат
У нас уже был опыт развертывания облачных сервисов и моделей искусственного интеллекта, поэтому в большинстве ситуаций помощь нам была не нужна. Вопросы появлялись, когда подключали сервисы платформы Cloud.ru Evolution, с которыми мы раньше не работали. И здесь нам помогала техническая документация к сервисам и ответы инженеров поддержки. Вообще мы были одними из первых пользователей платформы Cloud.ru Evolution.
Как провайдер мы можем предоставить полный набор сервисов для работы с AI-моделями и AI-агентами. В каталоге Cloud.ru есть целая цифровая среда Evolution AI-factory, чтобы создавать, запускать и масштабировать приложения на базе GenAI.
Планы
Скорость работы LLM-модели для нас приоритет. Пока модель распознает нутриенты по фото за 8-10 секунд, мы стремимся сократить время до 2-3 секунд. И нам важно повышать скорость, не арендуя при этом дополнительные GPU и не увеличивая затраты на дообучение моделей.
Мы предложили клиенту протестировать новый сервис для запуска и развертывания моделей машинного и глубокого обучения — Evolution ML Inference. Это готовый сервис c гибкой тарификацией за счет того, что пользователь приобретает не целиком весь графический процессор, а ровно столько его мощности, сколько нужно модели. Evolution ML Inference помогает в экономии ресурсов и оптимизации затрат на облако.
Запросите бесплатную консультацию по вашему проекту
