Использование Managed Kafka как брокер сообщений для микросервисной архитектуры

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Создайте и загрузите SSH-ключ в облако.

1. Разверните необходимые ресурсы в облаке

1. Создайте виртуальную сеть с названием microservices-VPC.

2. Создайте подсеть со следующими параметрами:

   • Название — microservices-subnet.

   • Адрес — 10.10.1.0/24.

   • VPC — microservices-VPC.

   • DNS-серверы — 8.8.8.8.

3. Создайте виртуальную машину со следующими параметрами:

   • Название — microservices.

   • Образ — на вкладке Публичные выберите образ Ubuntu 22.04.

   • Метод аутентификации — SSH-ключ и пароль.

   • SSH-ключ — ваш SSH-ключ.

   • Пароль — ваш пароль.

   • Имя хоста — microservices.

   • Подключить публичный IP — оставьте опцию включенной.

   • Тип IP-адреса — Прямой.

   • Группы безопасности — SSH-access_ru.AZ-1.

   • Подсеть — microservices-subnet.

   • Гарантированная доля vCPU — 10%.

   • vCPU — 2.

   • RAM — 4.

4. Создайте кластер Managed Kafka со следующими параметрами:

   • Название — microservices.

   • Версия Apache Kafka® — 3.9.0.

   • Брокеры — 1.

   • vCPU — 2.

   • RAM — 4.

   • Подсеть — microservices-subnet.

5. Убедитесь, что ресурсы созданы и отображаются в личном кабинете:

   1. На странице сервиса VPC:

      • отображается сеть microservices-VPC;

      • количество подсетей — 1;

      • подсеть microservices-subnet доступна.

   2. На странице сервиса «Виртуальные машины» отображается виртуальная машина microservices со статусом «Запущена».

   3. На странице сервиса Managed Kafka отображается кластер microservices со статусом «Доступен».

2. Настройте окружение на виртуальной машине

1. Подключитесь к виртуальной машине microservices через серийную консоль.

2. Подключитесь к виртуальной машине по SSH.

3. Обновите систему:

   sudo apt update && sudo apt upgrade -y
   
   

4. Установите Docker и Docker Compose:

   # Add Docker's GPG key
   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
   
   # Add Docker repository
   echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
   
   # Install Docker
   sudo apt update && sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin docker-compose
   
   # Add user to docker group
   sudo usermod -aG docker $USER
   newgrp docker
   
   

5. Проверьте, что Docker установлен корректно:

   docker --version
   docker compose version
   
   

3. Разверните микросервисы в Docker Compose

1. Создайте директорию service и перейдите в нее:

   mkdir service
   cd service
   
   

2. Склонируйте репозиторий с микросервисной архитектурой:

   git clone https://github.com/cloud-ru/evo-managed-kafka-microservices.git
   
   

3. Создайте файл .env с помощью команды:

   nano .env
   
   

4. Скопируйте код в файл:

   API_PORT=3000
   NODE_ENV=production
   
   KAFKA_BROKERS=<kafka_broker_ip>
   
   KAFKA_CLIENT_ID_API=api-service
   KAFKA_CLIENT_ID_ORDERS=orders-service
   KAFKA_CLIENT_ID_NOTIFICATIONS=notifications-service
   KAFKA_TOPIC_ORDERS=orders-topic
   
   KAFKA_USERNAME=<kafka_writer_username>
   KAFKA_PASSWORD=<kafka_writer_password>
   KAFKA_SASL_MECHANISM=scram-sha-512
   KAFKA_SSL=false
   
   

   Где:

   • <kafka_broker_ip> — IP-адрес кластера Managed Kafka.

   • <kafka_writer_username> — логин пользователя с ролью Writer.

   • <kafka_writer_password> — пароль пользователя с ролью Writer.

   IP-адрес, логин и пароль можно найти на странице информации о кластере в блоке Данные для подключения.

5. Запустите микросервисную архитектуру:

   docker-compose up -d
   
   

4. Протестируйте работу микросервисной архитектуры с Managed Kafka

1. Запустите просмотр логов микросервисов:

   docker-compose logs -f
   
   

2. Откройте новое окно терминала, не закрывая текущий терминал.

3. Подключитесь к виртуальной машине по SSH.

4. Создайте заказ c помощью curl-запроса:

   curl -X POST http://localhost:3000/orders \
        -H "Content-Type: application/json" \
        -d '{
           "email": "customer@example.com",
           "goodId": "12345",
           "count": 5
        }'
   
   

5. Переключитесь обратно на терминал 1 и проверьте, что сообщение успешно обработано сервисами notifications-service и orders-service — в логах выведено сообщение о получении данных:

   kafka-orders-service  | Order received: {
   kafka-orders-service  |   "email": "customer@example.com",
   kafka-orders-service  |   "goodId": "prod-123",
   kafka-orders-service  |   "count": 5
   kafka-orders-service  | }
   kafka-notifications-service  | Message received: {
   kafka-notifications-service  |   "email": "customer@example.com",
   kafka-notifications-service  |   "goodId": "prod-123",
   kafka-notifications-service  |   "count": 5
   kafka-notifications-service  | }
   
   

5. Удалите доступ по SSH для виртуальной машины

1. В личном кабинете перейдите в сервис «Виртуальные машины» и выберите машину microservices, созданную на первом шаге.

2. Перейдите в раздел Сетевые параметры.

3. Нажмите Изменить группы безопасности для публичного IP-адреса.

4. Удалите группу «SSH-access_ru».

5. Нажмите Сохранить.

6. Убедитесь, что доступа нет — попробуйте подключиться к виртуальной машине по SSH.

Результат