Валидация serving-скрипта

Примечание

Возможно использовать KServe или KFServing.

Для проверки корректности работы (валидации) serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:

  1. Выполните строку в Jupyter Notebook:

    pip install kserve
    
  2. Перейдите в терминал Jupyter Notebook (New → Terminal) и исполните скрипт:

    python myserving-script.py
    

    Где myserving-script — имя вашего скрипта.

  3. Найдите в результатах работы скрипта строку с указанием имени модели, которая имеет вид:

    [I 220527 08:53:48 kfserver:88] Registering model: model
    

    Где model — имя модели.

  4. Провалидируйте скрипт локально в данном Jupyter Server на порту 8080.

    Команды для обращения к модели должны включать localhost:8080/v1/models/{ИМЯ_МОДЕЛИ}:predict или localhost:8080/v1/models/model:predict. Пример curl запроса для валидации представлен ниже:

    curl --request POST \
    --location 'localhost:8080/v1/models/model_name:predict' \
    --header 'Content-Type: application/json' \
    --data-raw '{
      "instances": [
        {"text": "Hello world!"}
      ]
    }'
    

    Где "text": "Hello world!" — пример пользовательского запроса.