Быстрый старт сервиса Managed Kafka

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Сгенерируйте SSH-ключ и загрузите его в облачный каталог.

3. Создайте виртуальную машину с ОС Ubuntu 24.04 в том же проекте, зоне доступности и подсети, где будет располагаться кластер Managed Kafka.

4. Назначьте виртуальной машине публичный IP-адрес.

5. Убедитесь, что вы можете подключиться к виртуальной машине по SSH.

Создайте кластер

1. Перейдите в раздел Evolution и выберите сервис Managed Kafka.

2. На главной странице сервиса нажмите Создать кластер.

3. Задайте название кластера.

4. Выберите версию Apache Kafka®.

   Примечание

   После создания кластера версию продукта изменить нельзя.

5. Нажмите Продолжить.

6. На шаге Конфигурация:

   1. Выберите зону доступности.

   2. В блоке Вычислительный ресурс выберите флейвор с нужной комбинацией брокеров, vCPU и RAM.

   3. В блоке Диск выберите из списка тип диска SSD и укажите размер диска.

7. Нажмите Продолжить.

8. На шаге Сетевые настройки из списка Подсеть выберите адрес подсети.

9. Нажмите Создать.

Подключитесь к кластеру

1. На странице кластера перейдите на вкладку Пользователи и создайте пользователя с ролью cloud_admin.

2. Подключитесь по SSH к виртуальной машине, созданной ранее в том же проекте, что и кластер Managed Kafka.

3. Создайте файл конфигурации, например cluster.cfg:

   clusters:
   - name: "<custom_config_name>"
     brokers:
     - <private_IP>:<port>
     SASL:
       mechanism: SCRAM-SHA-512
       username: "<login>"
       password: "<password>"
     TLS: null
     security-protocol: SASL_PLAINTEXT
   
   

   Где:

   • <custom_config_name> — произвольное имя конфигурации.

   • <private_IP>, <port> — внутренний IP-адрес и порт брокера. Скопируйте их на странице информации о кластере в блоке Общие параметры.

   • <login>, <password> — имя пользователя и пароль, заданные при создании пользователя.

4. Отправьте сообщение в топик:

   echo '{"data":1}' | kaf produce <topic_name> --key key1 --header h1:hv1 --config cluster.cfg --cluster "<custom_config_name>"
   
   

   Где:

   • <topic_name> — название топика. Вы можете заранее создать топик, или он создастся автоматически при первой записи.

   • <custom_config_name> — произвольное имя конфигурации.

5. Чтобы прочитать отправленные сообщения из топика:

   kaf consume <topic_name> --output json-each-row --config cluster.cfg --cluster "<custom_config_name>"
   
   

   Где:

   • <topic_name> — название топика.

   • <custom_config_name> — произвольное имя конфигурации.

   Пример вывода:

   {"topic":"<topic_name>","partition":0,"offset":0,"timestamp":"2026-04-16T09:45:43.397+03:00","headers":[{"key":"h1","value":"hv1"}],"key":"key1","payload":"{data:1}"}
   
   

Что дальше