Быстрый старт

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. На верхней панели слева нажмите и убедитесь в наличии сервиса Foundation Models в разделе AI Factory. Если сервиса нет в списке, обратитесь в поддержку.

Шаг 1. Создайте сервисный аккаунт

Шаг 2. Сгенерируйте API-ключ

1. На верхней панели слева нажмите и перейдите в раздел Пользователи, на вкладку Сервисные аккаунты.

2. Нажмите на название сервисного аккаунта, который будете использовать для отправки запроса к модели.

   

3. Перейдите на вкладку API-ключи.

4. Нажмите Создать API-ключ.

   

5. Введите название и описание API-ключа, которое поможет в будущем идентифицировать его среди других ключей.

6. Заполните параметры API-ключа:

   • Сервисы — ml_inference_ai_marketplace.

   • Время действия — срок действия API-ключа и часовой пояс. Вы можете установить значение от одного дня до одного года с текущей даты. Если параметр не задан, срок действия ключа устанавливается на максимальное значение — один год. Из соображений безопасности рекомендуется выставлять средние значения, например 90 дней.

   • Интервал работы ключа — один или несколько интервалов времени, в которые можно использовать API-ключ.

7. Нажмите Создать.

8. Сохраните Key Secret. После закрытия окна получить его будет нельзя.

   Созданный API-ключ появится в списке ключей в статусе «Активен». Подробнее о работе с API-ключом.

Шаг 3. Отправьте запрос к модели

1. Выберите модель, например, DeepSeek-R1-Distill-Llama-70B. С помощью дистилляции знаний она «сжимает» логику больших моделей, таких как GPT-4, в относительно компактный формат (70 млрд параметров), сохраняя высокую точность на уровне state-of-the-art решений.

2. Нажмите Использовать.

3. Сохраните сгенерированный API-ключ в переменную окружения API_KEY.

4. Установите библиотеку openai:

   pip install openai
   
   

5. Скопируйте код для отправки запроса, нажав Копировать код.

6. Вставьте код в ваше приложение, предварительно при необходимости скорректировав параметры:

• max_tokens — максимальное количество токенов в ответе.

• temperature — параметр, влияющий на креативность ответа.

• presence_penalty и top_p — параметры, влияющие на вероятность выбора токенов.

• messages — роль и содержимое запроса к модели.

import os

from openai import OpenAI

api_key = os.environ["API_KEY"]
url = "https://foundation-models.api.cloud.ru/v1"

client = OpenAI(
   api_key=api_key,
   base_url=url
)

response = client.chat.completions.create(
   model="deepseek-ai/DeepSeek-R1-Distill-Llama-70B",
   max_tokens=5000,
   temperature=0.5,
   presence_penalty=0,
   top_p=0.95,
   messages=[
      {
            "role": "user",
            "content":"Как написать хороший код?"
      }
   ]
)

print(response.choices[0].message.content)

• temperature = 0.7 — баланс между детерминированностью (0) и креативностью (1). Значение 0.7 позволяет модели предлагать неочевидные аналогии, сохраняя техническую точность.

• top_p = 0.9 — ограничивает выбор токенов до 90% наиболее вероятных вариантов. Позволяет избегать абсурдных ответов, сохраняя разнообразие.

• max_tokens = 300 — оптимальная длина для подробного объяснения без избыточности. Ограничивает размер ответа для быстрого получения результата.

• frequency_penalty = 0.5 — снижает повторение одинаковых фраз: 0 — без штрафа, 2 — максимальный штраф. Помогает избегать зацикливания на одних и тех же формулировках.

• presence_penalty = 0.3 — поощряет введение новых тем при отрицательном значении или фокусировку на текущем контексте. Значение 0.3 стимулирует приводить дополнительные примеры.

Что дальше