Провалидировать serving-скрипт

Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.

1. Создайте Jupyter Server с GPU или подключитесь к уже существующему.

2. Выполните строку в Jupyter Notebook:

   pip   install   kserve
   
   

3. Перейдите в терминал Jupyter Server и выполните скрипт:

   python   myserving-script.py
   
   

   Где myserving-script — название вашего скрипта, который необходимо проверить.

4. Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:

   [ I   220527   08 : 53 : 48   kfserver : 88 ]   Registering   model :   model 
   
   

   Где model — название модели.

5. Провалидируйте скрипт локально в Jupyter Server на порту 8080.

   Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:

   curl   -- request   POST  \
    -- location   'localhost:8080/v1/models/model_name:predict'  \
    -- header   'Content-Type: application/json'  \
    -- data - raw   '{ 
      "instances" :   [ 
         { "text" :   "Hello world!" } 
       ] 
    } ' 
   
   

   Где "text": "Hello world!" — пример пользовательского запроса.