Провалидировать serving-скрипт

Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.

Примечание

Возможно использовать KServe или KFServing.

  1. Создайте Jupyter Server с GPU.

  2. Выполните строку в Jupyter Notebook:

    pip install kserve
    
  3. Перейдите в терминал Jupyter Notebook (New → Terminal) и выполните скрипт:

    python myserving-script.py
    

    Где myserving-script — название вашего скрипта, который необходимо проверить.

  4. Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:

    [I 220527 08:53:48 kfserver:88] Registering model: model
    

    Где model — название модели.

  5. Провалидируйте скрипт локально в Jupyter Server на порту 8080.

    Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:

    curl --request POST \
    --location 'localhost:8080/v1/models/model_name:predict' \
    --header 'Content-Type: application/json' \
    --data-raw '{
      "instances": [
        {"text": "Hello world!"}
      ]
    }'
    

    Где "text": "Hello world!" — пример пользовательского запроса.

Масштабная конференция
GoCloud 2024:
облачные грани будущего