Дообучить модель

Эта статья полезна?

С помощью этого руководства вы запустите процесс дообучения модели Qwen/Qwen3-1.7B-Base, используя сервисы ML Finetuning, Secret Management и Huggingface.

Вы будете использовать следующие сервисы:

Secret Management — безопасное хранилище секретов.
ML Finetuning — сервис для дообучения моделей.
Huggingface — платформа для публикации и использования моделей машинного обучения.

Шаги:

Перед началом работы

Зарегистрируйтесь в личном кабинете Cloud.ru.

Если вы уже зарегистрированы, войдите под своей учетной записью.

1. Создайте секрет с токеном Huggingface

Создайте токен Huggingface.
1. Войдите или зарегистрируйтесь на https://huggingface.co.
2. Перейдите в раздел Access Tokens.
3. Нажмите Create new token.
4. Выберите тип Write.
5. Введите название токена.
6. Нажмите Create token.
7. Скопируйте токен и сохраните его, например в блокнот. После закрытия страницы он будет недоступен.
Создайте секрет в Secret Management со следующими параметрами:
1. В поле Название укажите название секрета, например hf-token.
2. В поле Значение вставьте токен, полученный в личном кабинете Huggingface.

2. Запустите дообучение модели

Перейдите в AI Factory → ML Finetuning.
Нажмите Дообучить модель.
1. В поле Модель укажите название модели Qwen/Qwen3-1.7B-Base.
  
  Примечание
  Перед началом дообучения убедитесь, что у вас есть доступ к модели, проверив ее карточку на Huggingface.
  
  Для модели Qwen/Qwen3-1.7B-Base запрашивать специальный доступ не нужно.
2. В поле Токен доступа выберите секрет hf-token.
3. В поле Репозиторий модели укажите репозиторий для загрузки дообученной модели my-org/qwen3-finetuned.
4. В поле Датасет укажите репозиторий датасета iamtarun/code_instructions_120k_alpaca.
5. В поле Метод обучения выберите LoRA.
6. Укажите гиперпараметры обучения:
  - Learning rate — 0.0001.
  - Epoch — 3.
  - Gradient accumulation — 4.
  - Batch size per device — 16.
  - Training precision — bf16.
  - Logging steps — 50.
  - Save steps — 500.
  - Max samples — 100000.
7. Нажмите Запустить дообучение.
Проверьте результат дообучения в логах:
1. Перейдите в AI Factory → ML Finetuning.
2. Нажмите на название модели.
3. Перейдите на вкладку Логи.

Что дальше

Вы создали секрет с токеном Huggingface, запустили процесс дообучения модели в сервисе ML Finetuning и проверили модель в Huggingface. Полученные навыки помогут интегрировать внешние модели и данные в облачную инфраструктуру Cloud.ru, а также автоматизировать процесс дообучения.

Узнавайте больше о прикладных сценариях и примерах решения бизнес-задач, получайте навыки управления облаком, выполняя практические руководства.

Предыдущая статья

Практические руководства сервиса ML Finetuning

Следующая статья

Практические руководства сервиса Managed BI

Эта статья полезна?

Поддержка Юридические документы