Провалидировать serving-скрипт

Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.

Примечание

Возможно использовать KServe или KFServing.

Создайте Jupyter Server с GPU или подключитесь к уже существующему.
Выполните строку в Jupyter Notebook:
```
pip install kserve
```
Перейдите в терминал Jupyter Server и выполните скрипт:
```
python myserving-script.py
```
Где myserving-script — название вашего скрипта, который необходимо проверить.
Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:
```
[I 220527 08:53:48 kfserver:88] Registering model: model
```
Где model — название модели.
Провалидируйте скрипт локально в Jupyter Server на порту 8080.

Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:
curl --request POST \ --location 'localhost:8080/v1/models/model_name:predict' \ --header 'Content-Type: application/json' \ --data-raw '{ "instances": [ {"text": "Hello world!"} ] }'
Где "text": "Hello world!" — пример пользовательского запроса.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?