Вы можете дообучить модель с нуля или переобучить ранее дообученную в сервисе модель с новыми параметрами.
Дообучить модель впервые
На верхней панели слева нажмите
и выберите AI Factory → ML Finetuning.Выберите тип базовой модели — Генерация текста.
Выберите источник базовой модели — Добавить из Hugging Face.
Добавьте репозиторий с базовой моделью из Hugging Face:
В качестве источника оставьте Добавить из Hugging Face.
В поле Репозиторий с моделью укажите адрес репозитория, в котором расположена модель для дообучения.
(Опционально) Укажите токен доступа из Secret Management, если модель расположена в приватном репозитории. Чтобы добавить новый токен доступа, нажмите Добавить токен в Secret Management.
Нажмите Добавить.
Добавьте датасет Alpaca в формате JSON для дообучения модели:
В поле Репозиторий датасета Hugging Face укажите адрес репозитория, в котором расположен датасет. Датасет должен быть в формате Alpaca и содержать следующие поля: instruction, input, output.
(Опционально) Укажите токен доступа из Secret Management, если датасет расположен в приватном репозитории. Чтобы добавить новый токен доступа, нажмите Добавить токен в Secret Management.
Добавьте репозиторий для сохранения дообученной модели:
Оставьте для Назначение значение Hugging Face Datasets.
В поле Репозиторий с моделью укажите адрес репозитория, в котором будет сохранена модель после дообучения.
(Опционально) Укажите токен доступа из Secret Management, если указанный репозиторий приватный. Чтобы добавить новый токен доступа, нажмите Добавить токен в Secret Management.
Настройте конфигурацию параметров:
Выберите метод обучения — LoRa. Сейчас доступен только этот вид обучения.
Укажите значения для гиперпараметров дообучения:
Learning rate — начальная скорость обучения для алгоритма AdamW.
Epoch — общее количество эпох обучения.
Gradient accumulation — количество шагов для накопления градиентов перед обновлением параметров.
Batch size per device — количество образцов, обрабатываемых в каждом GPU.
Training precision — использование смешанной точности при обучении модели.
Logging steps — количество шагов между записями логирования.
Save steps — количество шагов между сохранением модели.
Max samples — максимальное количество образцов для дообучения модели.
Ресурсы, выделенные на дообучение модели, доступны в одной конфигурации — 1 GPU H100 80GB – 182 GB RAM.
Нажмите Запустить дообучение.
Добучить модель заново с новыми параметрами
Заново дообучить уже существующую в сервисе модель с другими параметрами можно двумя способами:
в списке дообучений в нужной строке нажмите
→ Дообучить модель заново;перейдите в нужное дообучение и нажмите Дообучить модель заново.
Заполните форму, аналогичную форме создания дообучения впервые.