Валидация serving-скрипта
Примечание
Возможно использовать KServe или KFServing.
Для проверки корректности работы (валидации) serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:
Выполните строку в Jupyter Notebook:
pip install kserve
Перейдите в терминал Jupyter Notebook (
) и исполните скрипт:python myserving-script.py
Где
myserving-script
— имя вашего скрипта.Найдите в результатах работы скрипта строку с указанием имени модели, которая имеет вид:
[I 220527 08:53:48 kfserver:88] Registering model: model
Где
model
— имя модели.Провалидируйте скрипт локально в данном Jupyter Server на порту 8080.
Команды для обращения к модели должны включать
localhost:8080/v1/models/{ИМЯ_МОДЕЛИ}:predict
илиlocalhost:8080/v1/models/model:predict
. Пример curl запроса для валидации представлен ниже:curl --request POST \ --location 'localhost:8080/v1/models/model_name:predict' \ --header 'Content-Type: application/json' \ --data-raw '{ "instances": [ {"text": "Hello world!"} ] }'
Где
"text": "Hello world!"
— пример пользовательского запроса.