RabbitMQ: зачем нужен и как работает брокер сообщений

Задача RabbitMQ — обеспечить доставку сообщений. Например, если получатель временно недоступен, данные не потеряются. Они останутся в очереди до тех пор, пока их не смогут обработать. Такая модель позволяет приложениям работать асинхронно — отправитель будет выполнять свои функции дальше, не дожидаясь ответа от другого сервиса.

Брокер RabbitMQ полезен там, где нужно распределять задачи и по очереди их выполнять. При обработке заказов, отправке писем и создании отчетов. С помощью очередей можно равномерно распределить нагрузку между несколькими сервисами и спасти систему от перегрузки в пиковые моменты.

Главная ценность решения в понятной логике работы. RabbitMQ поддерживает разные сценарии доставки сообщений — от очередей до сложной маршрутизации. Отметим и гибкость брокера. Он подключается к приложениям на всех популярных языках программирования, подходит как для небольших проектов, так и для многосервисных систем.

RabbitMQ — надежный посредник, который берет на себя задачи по доставке и маршрутизации сообщений. Платформа работает благодаря механизмам, которые определяют ее поведение и отличают от других брокеров. 

Особенности RabbitMQ:

• Поддержка разных протоколов — работает с AMQP 0-9-1 (основной), AMQP 1.0, MQTT (версии 3.1, 3.1.1, 5.0), STOMP, RabbitMQ Streams, HTTP (ограниченно, через management UI), WebSocket.

• Гарантированная доставка сообщений — сообщения не потеряются, даже если в системе произойдет сбой, поскольку они могут храниться в очереди до момента обработки.

• Гибкая маршрутизация — брокер может направлять сообщения не только в одну очередь, а в разные по правилам, шаблонам и ключам.

• Асинхронная обработка — отправителю не приходится ждать ответа на сообщение, поэтому приложения работают быстрее и не перегружаются. 

• Масштабирование обработчиков данных — несколько потребителей могут забирать из очереди сообщения и распределять нагрузку на сервисы.

• Подтверждение обработки — брокер знает, какие сообщения были обработаны, а какие нужно повторно отправить.

Применение RabbitMQ

RabbitMQ используется для выполнения фоновых задач, которые не должны тормозить работу основного приложения. Например, это отправка писем, обработка фото и видео, создание отчетов и уведомлений. Пользователь не ждет, пока операции будет выполнены. Система обрабатывает сообщения в фоновом режиме по мере освобождения ресурсов.

Еще один популярный сценарий — обмен сообщениями между микросервисами. Сервисы передают события не напрямую, а через RabbitMQ. Если один из сервисов временно недоступен, он обработает сообщения позже, когда «поднимется».

RabbitMQ применяется для распределения нагрузки между несколькими обработчиками. Очереди позволяют передавать задачи в разные рабочие процессы, чтобы ничего не перегрузить. Такой подход нужен в сервисах обработки заказов и платежей, логистических системах.

Также RabbitMQ применяют для интеграции разноплановых систем и сервисов. Брокер помогает связать приложения, которые написаны на разных языках или работают в разных средах. RabbitMQ выступает связующим звеном благодаря поддержке нескольких протоколов и сложной маршрутизации.

RabbitMQ полезен в проектах с нестабильной нагрузкой и большими потоками данных. Благодаря брокеру многочисленные сообщения накапливаются в очереди и обрабатываются по мере возможности. Это делает поведение систем более предсказуемым.

Разберем архитектуру решения и базовую схему работы в разных сценариях.

Архитектура и основные понятия

Сообщения в RabbitMQ попадают сначала в обменник. Это компонент, который решает, куда дальше отправлять сообщения. За хранение данных он не отвечает — только за распределение по правилам маршрутизации. Эти правила зависят от типа обменника и преднастроенных ключей. 

После обменника сообщения попадают в очередь. Это хранилище, где они ждут, пока их обработают потребители. Из одной очереди сообщения может забирать несколько потребителей, разделяя между собой нагрузку. Чтобы данные не потерялись при сбоях, их часто сохраняют на диске.

Чтобы определить релевантные очереди для сообщений, применяется маршрутизация. В ее основе — ключи и связи между обменниками и очередями. Такой механизм позволяет реализовать простые схемы вроде «одна очередь — один потребитель» и сложные сценарии. Например, одно сообщение может доставляться нескольким сервисам или отправляться в определенную очередь согласно заданным условиям.

Принципы работы

Работа RabbitMQ начинается с момента, когда отправитель передает сообщение в брокер. Приложение не отправляет его получателю, а публикует в обменник. Дальше система сама решает, куда направить данные дальше. 

Обменник с учетом правил маршрутизации направляет сообщение в одну или несколько очередей. Сообщения хранятся там до тех пор, пока их не заберет потребитель. Если включено сохранение на диск, данные никуда не денутся даже при перезапуске сервера. Это важный момент для критичных задач.

Получатель подключается к очереди и принимает свои сообщения. RabbitMQ отслеживает, чтобы данные были корректно обработано. Если все в порядке, потребитель направляет брокеру подтверждение. После этого сообщения удаляются из очереди.

Если подтверждение от получателя не приходит, например, из-за сбоя приложения, RabbitMQ возвращает сообщение в очередь. Это гарантия что данные не потеряются и будут повторно обработаны. Такая модель работы с данными незаменима в нестабильных системах. 

Apache Kafka — популярная платформа для потоковой обработки данных, предназначенная для работы с большими объемами событий в реальном времени. В отличие от RabbitMQ, Kafka не отправляет сообщения в очереди. Данные публикуются в топики и сохраняются на диске, откуда их могут брать потребители независимо друг от друга. Такой подход позволяет повторно обрабатывать события, выполнять аналитику и объединять сообщения из разных источников.

Kafka работает с распределенным журналом событий. Сообщения последовательно записываются туда  и хранятся в течение определенного периода времени, даже если были уже прочитаны. Получатели контролируют, какие данные обработали и могут возвращаться к ним повторно. 

Kafka и RabbitMQ одинаково популярны, но используются в разных сценариях. Вот примеры и объяснения, почему то или иное решение больше подходит:

• Фоновые задачи и очереди данных — тут лучше подходит RabbitMQ, поскольку гарантирует доставку и подтверждает обработку каждого сообщения.

• Обмен сообщениями между микросервисами — RabbitMQ удобнее за счет сложной маршрутизации и контроля доставки данных.

• Потоковая обработка данных в реальном времени — здесь незаменим брокер Kafka, поскольку он рассчитан на непрерывный поток событий.

• Сбор логов и событий из разных систем — Kafka выигрывает, потому что обеспечивает долговременное хранение и высокую пропускную способность.

• Плавающая нагрузка и медленные системы — в таком сценарии RabbitMQ удобнее, потому что сообщения могут долго храниться в очереди и ждать обработки.

• Аналитика и работа с большими объемами данных — Kafka предпочтительнее, так как позволяет нескольким системам получать одни и те же сообщения.

Выбор между RabbitMQ и Kafka зависит от потребностей проекта. Если нужна высокопроизводительная платформа для обработки потоков данных в реальном времени, Kafka станет оптимальным решением. Однако развертывание и управление собственным Kafka-кластером потребует значительных вложений в инфраструктуру и администрирование. Упростить задачу позволит использование управляемых сервисов. Например, Evolution Managed Kafka от Cloud.ru предоставляет полностью управляемый Apache Kafka с автоматическим масштабированием, встроенным мониторингом и интеграцией с другими облачными сервисами.

Сравнительная таблица по ключевым критериям:

RabbitMQ можно развернуть на сервере или локальном компьютере. Сначала установите Erlang, на котором реализован брокер сообщений. На многих ОС уже имеются готовые установочные пакеты. 

• Для Linux используйте пакетный менеджер. Например, на Ubuntu брокер можно развернуть тремя командами: sudo apt-get update, потом sudo apt-get install erlang и sudo apt-get install rabbitmq-server. Если сделаете все верно, сервис появится в системе. Чтобы его запустить, примените sudo systemctl start rabbitmq-server.

• Если у вас Windows, скачайте с официального сайта RabbitMQ инсталлятор. Следуйте инструкции мастера установки. Когда процесс завершится, решение можно будет запускать как приложение или службу Windows.

Для мониторинга нужна веб-консоль управления. Чтобы ее подключить, примените команду rabbitmq-plugins enable rabbitmq_management. Консоль поможет через браузер контролировать систему и отслеживать, что происходит в очередях и обменниках. 

Не забудьте добавить пользователей и назначить права доступа. Команда для создания пользователя — rabbitmqctl add_user username password. Команда rabbitmqctl set_permissions -p / username ".*" ".*" ".*" позволяет выдать полные права на виртуальный хост. 

RabbitMQ применяется в задачах, где нужны стопроцентная доставка сообщений и контроль их обработки. Это подходящее решение для микросервисов и фоновых процессов. Для аналитики внушительных потоков данных используются другие брокеры, например, Kafka. Однако в своем сегменте RabbitMQ считается самым востребованным инструментом.