Провалидировать serving-скрипт

Проверить корректность работы serving-скрипта можно при помощи Jupyter Server c GPU.

Примечание

Возможно использовать KServe или KFServing.

  1. Создайте Jupyter Server с GPU или подключитесь к уже существующему.

  2. Выполните строку в Jupyter Notebook:

    pip install kserve
  3. Перейдите в терминал Jupyter Server и выполните скрипт:

    python myserving-script.py

    Где myserving-script — название вашего скрипта, который необходимо проверить.

  4. Найдите в результатах работы скрипта строку с указанием названия модели, которая имеет вид:

    [ I 220527 08 : 53 : 48 kfserver : 88 ] Registering model : model

    Где model — название модели.

  5. Провалидируйте скрипт локально в Jupyter Server на порту 8080.

    Команды для обращения к модели должны включать localhost:8080/v1/models/{name_of_your_model}:predict или localhost:8080/v1/models/model:predict. Пример curl-запроса для валидации представлен ниже:

    curl -- request POST \
    -- location 'localhost:8080/v1/models/model_name:predict' \
    -- header 'Content-Type: application/json' \
    -- data - raw '{
    "instances" : [
    { "text" : "Hello world!" }
    ]
    } '

    Где "text": "Hello world!" — пример пользовательского запроса.

ML Space