- Начало работы с ML Space
- Инструкции
- Использовать GitLab CI при работе с Environments
- Развертывание и эксплуатация моделей
- Начало работы с деплоями
- Сериализовать модель для использования в Deployments
- Скрипты для прогнозирования на основе обученных моделей
- Провалидировать serving-скрипт
- Создать образ для деплоя
- Развернуть модель (создать деплой)
- Отправить синхронный HTTP-запрос к развернутой модели
- Отправить асинхронный HTTP-запрос к развернутой модели
- Тарификация
- Термины и сокращения
- Обратиться в поддержку
Провалидировать serving-скрипт
Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.
Возможно использовать KServe или KFServing.
Создайте Jupyter Server с GPU или подключитесь к уже существующему.
Выполните строку в Jupyter Notebook:
pip install kserveПерейдите в терминал Jupyter Server и выполните скрипт:
python myserving-script.pyГде myserving-script — название вашего скрипта, который необходимо проверить.
Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:
[ I 220527 08 : 53 : 48 kfserver : 88 ] Registering model : modelГде model — название модели.
Провалидируйте скрипт локально в Jupyter Server на порту 8080.
Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:
curl -- request POST \-- location 'localhost:8080/v1/models/model_name:predict' \-- header 'Content-Type: application/json' \-- data - raw '{"instances" : [{ "text" : "Hello world!" }]} 'Где "text": "Hello world!" — пример пользовательского запроса.