Distributed Train

Провалидировать serving-скрипт

Эта статья полезна?

Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.

Примечание

Возможно использовать KServe или KFServing.

Создайте Jupyter Server с GPU или подключитесь к уже существующему.
Выполните строку в Jupyter Notebook:
```
pip install kserve
```
Перейдите в терминал Jupyter Server и выполните скрипт:
```
python myserving-script.py
```
Где myserving-script — название вашего скрипта, который необходимо проверить.
Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:
```
[I 220527 08:53:48 kfserver:88] Registering model: model
```
Где model — название модели.
Провалидируйте скрипт локально в Jupyter Server на порту 8080.

Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:
curl --request POST \
--location 'localhost:8080/v1/models/model_name:predict' \
--header 'Content-Type: application/json' \
--data-raw '{
"instances": [
{"text": "Hello world!"}
]
}'
Где "text": "Hello world!" — пример пользовательского запроса.

Эта статья полезна?