Создать и запустить задачу на дообучение модели

1. На верхней панели слева нажмите и выберите AI Factory → ML Finetuning.

2. Выберите тип базовой модели — Генерация текста.

3. Выберите источник базовой модели — Hugging Face.

4. Добавьте репозиторий с базовой моделью из Hugging Face:

   1. Нажмите Добавить из Hugging Face.

   2. В поле Репозиторий с моделью на Hugging Face укажите адрес репозитория, в котором расположена модель для дообучения.

   3. (Опционально) Укажите токен доступа из Secret Management, если модель расположена в приватном репозитории. Чтобы добавить новый токен доступа, нажмите Добавить токен в Secret Management.

5. Добавьте датасет Alpaca в формате JSON для дообучения модели:

   1. Выберите Назначение — Hugging Face Datasets.

   2. В поле Репозиторий датасета на Hugging Face укажите адрес репозитория, в котором расположен датасет. Датасет должен быть в формате Alpaca и содержать следующие поля: instruction, input, output.

6. Добавьте репозиторий для сохранения дообученной модели:

   1. Выберите Назначение — Hugging Face Datasets.

   2. В поле Репозиторий с моделью на Hugging Face укажите адрес репозитория, в котором будет сохранена модель после дообучения.

7. Настройте конфигурацию основных параметров:

   • Выберите метод обучения — LoRA. Сейчас доступен только этот вид обучения.

   • Укажите значения для основных гиперпараметров дообучения:

   • Learning rate — начальная скорость обучения для алгоритма AdamW.

   • Epoch — общее количество эпох обучения.

   • Gradient accumulation — количество шагов для накопления градиентов перед обновлением параметров.

   • Batch size per device — количество образцов, обрабатываемых в каждом GPU.

   • Training precision — использование смешанной точности при обучении модели.

   • Logging steps — количество шагов между записями логирования.

   • Save steps — количество шагов между сохранением модели.

   • Max samples — максимальное количество образцов для дообучения модели.

8. Ресурсы, выделенные на дообучение модели, доступны в одной конфигурации — 1 GPU H100 80GB – 182 GB RAM.

9. Нажмите Запустить дообучение.