Валидация serving-скрипта

Примечание

Возможно использовать KServe или KFServing.

Для проверки корректности работы (валидации) serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:

  1. Выполните строку в Jupyter Notebook:

    pip install kserve

  2. Перейдите в терминал Jupyter Notebook (New → Terminal) и исполните скрипт:

    python myserving-script.py

    Где myserving-script — имя вашего скрипта.

  3. Найдите в результатах работы скрипта строку с указанием имени модели, которая имеет вид:

    [I 220527 08:53:48 kfserver:88] Registering model: model

    Где model — имя модели.

  4. Провалидируйте скрипт локально в данном Jupyter Server на порту 8080.

    Команды для обращения к модели должны включать localhost:8080/v1/models/{ИМЯ_МОДЕЛИ}:predict или localhost:8080/v1/models/model:predict. Пример curl запроса для валидации представлен ниже:

    curl --request POST \
--location 'localhost:8080/v1/models/model_name:predict' \
--header 'Content-Type: application/json' \
--data-raw '{
  "instances": [
    {"text": "Hello world!"}
  ]
}'

    Где "text": "Hello world!" — пример пользовательского запроса.