Ускорили запуск AI Firewall для корпоративных клиентов с готовой облачной инфраструктурой
Как HiveTrace развернул AI Firewall на платформе Cloud.ru Evolution, ускорил запуск пилотных проектов и подготовил масштабируемую инфраструктуру для клиентов с высокими требованиями к безопасности.
HiveTrace — российский разработчик решений для безопасного использования генеративного ИИ. Компания создала AI Firewall, который помогает защищать GenAI-приложения от промпт-атак, утечек данных и других угроз.
Задача
Ускорить внедрение AI Firewall для корпоративных клиентов с разными требованиями к безопасности. Найти облачную платформу с необходимыми сертификатами, поддержкой Kubernetes и GPU, чтобы отказаться от длительной подготовки каждого проекта.
Решение
Развернули AI Firewall на Cloud.ru Evolution с помощью Evolution Managed Kubernetes и GPU NVIDIA A100. Получили инфраструктуру с необходимыми сертификатами, воспроизводимый сценарий запуска пилотов и возможность быстро масштабировать решение.
О компании
HiveTrace разрабатывает AI Firewall для защиты GenAI-приложений. Система обнаруживает промпт-атаки, помогает предотвращать утечки данных и служит дополнительным уровнем безопасности при использовании генеративного ИИ для решения бизнес-задач.
Продукт анализирует запросы пользователей до их передачи в модель и проверяет ответы модели перед отправкой пользователю. Это позволяет защищать внешние чат-боты от промпт-атак, снижать риск передачи чувствительной информации во внешние системы и соблюдать требования по работе с персональными данными.
Задача
HiveTrace работает с клиентами, у которых разные требования к безопасности и инфраструктуре. Одним важно соответствие требованиям по персональным данным, другим нужны сертификаты для ГИС, КИИ или финансовых операций.
Из-за этого под каждый проект компании приходилось отдельно искать подходящую инфраструктуру, проверять ее на соответствие требованиям и согласовывать условия запуска. Это замедляло пилоты и усложняло масштабирование продукта.
Команде нужна была платформа, которая уже закрывает базовые требования безопасности, поддерживает Kubernetes с GPU и позволяет разворачивать изолированные окружения под конкретного клиента.
Почему Cloud.ru
Cloud.ru закрыл ключевые требования HiveTrace к безопасности на уровне инфраструктуры. Девять дата-центров в России соответствуют уровню надежности Tier III, а сама облачная платформа имеет необходимые сертификаты для работы с персональными данными, ГИС, КИИ и финансовыми системами.
Стек HiveTrace не потребовал дополнительной доработки для интеграции с облаком Cloud.ru. Managed-сервисы Cloud.ru Evolution оказались совместимы с уже используемыми компонентами, поэтому команда смогла быстро перейти к запуску пилотных проектов.
Необходимые ресурсы также были доступны сразу. Дополнительным преимуществом стала возможность запускать GPU-кластеры с почасовой оплатой, что позволяет гибко использовать вычислительные мощности для пилотов и экспериментов.
Решение
Инфраструктуру развернули на платформе Cloud.ru Evolution. Архитектуру проекта прорабатывали совместно с командой Cloud.ru.
Для размещения компонентов платформы и LLM-моделей HiveTrace выбрал Evolution Managed Kubernetes с GPU. До этого команда рассматривала несколько вариантов инфраструктуры, включая bare metal и собственный GPU-кластер. В итоге остановилась на managed-подходе: он позволил использовать готовую инфраструктурную платформу, гибко масштабировать вычислительные ресурсы под задачи проекта и отказаться от самостоятельного обслуживания GPU-инфраструктуры.
Сейчас на базе Evolution Managed Kubernetes развернуты четыре модели, для вычислений используются GPU NVIDIA A100. Для каждого клиента создается отдельное изолированное окружение, которое учитывает требования к безопасности и обработке данных.
Cloud.ru дал инфраструктурную основу, которая соответствует требованиям наших заказчиков и позволяет быстрее запускать и масштабировать проекты. Благодаря этому команда может сосредоточиться на развитии продукта и разработке новых функций безопасности, не тратя ресурсы на подготовку и адаптацию инфраструктуры под каждое внедрение.
Результат
HiveTrace развернул систему мониторинга и защиты GenAI-приложений на инфраструктуре Cloud.ru и получил воспроизводимый процесс запуска решений для новых клиентов.
Раньше подбор подходящей инфраструктуры под требования конкретного проекта мог занимать недели. Теперь для проектов, где подходит инфраструктура Cloud.ru, команда использует подготовленный сценарий развертывания и быстрее переходит к запуску решения, что упрощает масштабирование продукта на новых клиентов и снижает нагрузку на команду при подготовке внедрений.
Помимо инфраструктурного развертывания, сотрудничество вышло на уровень продуктовой интеграции: модель HiveTracePro вошла в сервис Evolution Foundation Models. Клиенты Cloud.ru, которые уже используют языковые модели на платформе, могут подключать HiveTracePro как дополнительный уровень защиты GenAI-приложений.
Планы
HiveTrace планирует масштабировать развертывание решения на новых клиентов. В дальнейшем команда хочет использовать Evolution Foundation Models для работы с различными языковыми моделями и расширения возможностей сервиса защиты GenAI-приложений.
HiveTrace показывает, как совместимость платформ и готовая инфраструктура помогают ускорять не только технический запуск, но и выход продукта к клиентам. Когда инфраструктурные вопросы решены, команда может сосредоточиться на развитии продукта и создании новых возможностей для пользователей.