Облачная платформаAdvanced

Cluster Kafka Instances

Эта статья полезна?

Язык статьи: Русский

Показать оригинал

Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Instance Specifications

У cluster Kafka instance три или более брокеров и совместим с open-source Kafka 1.1.0, 2.7 и 3.x.

Note

В следующей таблице:

Для Kafka instances количество transactions per second (TPS) является максимальным числом сообщений, которые могут быть записаны в секунду.

TPS performance: количество сообщений, обрабатываемых в секунду при условии, что размер сообщения составляет 1 KB.

Test scenario: частная сеть без шифрования SASL. Тип диска — ultra-high I/O.

Table 1 Cluster Kafka instance specifications
Flavor	Brokers	Maximum TPS per Broker	Maximum Partitions per Broker	Recommended Consumer Groups per Broker	Maximum Client Connections per Broker	Storage Space (GB)	Трафик на брокер (MB/s)
kafka.2u4g.cluster	3–30	30,000	250	20	2,000	300–300,000	100
kafka.4u8g.cluster	3–30	100,000	500	100	4,000	300–600,000	200
kafka.8u16g.cluster	3–50	150,000	1000	150	4,000	300–1,500,000	375
kafka.12u24g.cluster	3–50	200,000	1,500	200	4,000	300–1,500,000	625
kafka.16u32g.cluster	3–50	250,000	2,000	200	4,000	300–1,500,000	750

Instance Specifications и сетевая пропускная способность

Сетевая пропускная способность Kafka instance состоит из следующего:

Сетевая пропускная способность, используемая брокерами instance

Пропускная способность диска, используемого брокерами instance. Для подробностей см. Disk Types and Performance.

Примечание:

По умолчанию тесты Kafka выполняются в сценарии tail read (то есть потребляются только последние производственные данные), а не в сценарии cold read (то есть исторические данные потребляются с начала).

Пропускная способность instance со старым flavor (например, 100 MB/s) — это общая сетевая пропускная способность всех брокеров instance.

Расчёт трафика для instances с новыми flavors (например, kafka.2u4g.cluster) описан ниже:

Соотношение чтения/записи равно 1:1.

Количество реплик топика по умолчанию равно 3.

Общий сетевой трафик = Трафик на брокер × Количество брокеров

Общий трафик инстанса = Трафик сервиса + Трафик репликации данных между брокерами

Предположим, что текущий flavor — kafka.2u4g.cluster, трафик на брокер составляет 100 MB/s, а количество брокеров равно 3. Каков общий сетевой трафик, максимальный трафик чтения и максимальный трафик записи инстанса?

Общий сетевой трафик = Трафик на брокер × Количество брокеров = 100 MB/s × 3 = 300 MB/s

Максимальный трафик чтения = Общий сетевой трафик инстанса / Количество реплик по умолчанию / 2 = 300 MB/s / 3 / 2 = 50 MB/s

Максимальный трафик записи = Общий сетевой трафик инстанса / Количество реплик по умолчанию / 2 = 300 MB/s / 3 / 2 = 50 MB/s

Сопоставление старых и новых Flavors

Table 2 сравнивает старые и новые flavor инстансов Kafka.

Table 2 Сопоставление старых и новых flavor инстансов Kafka
Старый Flavor		Новый Flavor
Flavor	Общий сетевой трафик инстанса	Flavor	Total Instance Network Traffic
300 MB/s	300 MB/s	kafka.2u4g.cluster * 3	300 MB/s
600 MB/s	600 MB/s	kafka.4u8g.cluster * 3	600 MB/s
1,200 MB/s	1,200 MB/s	kafka.4u8g.cluster * 6	1,250 MB/s

Instances с новыми флейворами имеют следующие возможности:

Повышенная производительность и экономичность: они используют исключительные ресурсы. Напротив, старые флейворы используют неисключительные ресурсы. При высокой нагрузке могут возникнуть конфликты ресурсов.

Последние функции, например, переназначение разделов, изменение настройки SSL и просмотр журналов ребалансировки.

Гибкие изменения Флейвора: например, вы можете увеличить Флейвор брокера.

Гибкая ёмкость диска: только связано с количеством брокеров и не связано с Флейвором.

Больше вариантов спецификаций: доступен более широкий диапазон комбинаций Флейвора брокера (более 10 000 MB/s) и количества.

Выбор Флейвора

kafka.2u4g.cluster with 3 brokers

Рекомендуется до 6000 клиентских подключений, 60 групп потребителей и 90 000 TPS

kafka.4u8g.cluster with 3 brokers

Рекомендуется до 12 000 клиентских подключений, 300 групп потребителей и 300 000 TPS

kafka.8u16g.cluster with 3 brokers

Рекомендуется до 12 000 клиентских подключений, 450 групп потребителей и 450 000 TPS

kafka.12u24g.cluster with 3 brokers

Рекомендуется до 12 000 клиентских подключений, 600 групп потребителей и 600 000 TPS

kafka.16u32g.cluster with 3 brokers

Рекомендуется до 12 000 клиентских подключений, 600 групп потребителей и 750 000 TPS

Выбор объёма хранения

Инстансы Kafka могут хранить сообщения в нескольких репликах. Объём хранения потребляется репликами сообщений, журналами и метаданными. При создании инстанса указывайте его объём хранения на основе ожидаемого размера сообщений сервиса, количества реплик и резервируемого дискового пространства. Каждый брокер Kafka резервирует 33 ГБ дискового пространства для хранения журналов и метаданных.

Например, если ожидаемый размер сообщений сервиса составляет 100 ГБ, количество реплик равно 2, а количество брокеров — 3, размер диска должен быть не менее 299 ГБ (100 ГБ × 2 + 33 ГБ × 3).

Объём хранения можно расширять по мере роста вашего сервиса.

Количество тем

Существует ограничение на количество тем и суммарное число разделов в темах. Когда достигается ограничение количества разделов, создание новых тем становится невозможным.

Количество тем зависит от максимально допустимого числа разделов (см. Table 1) и указанного числа разделов в каждой теме.

kafka.2u4g.cluster × 3 broker instance: Верхний предел разделов = Количество брокеров × Верхний предел разделов на брокер. То есть, 3 × 250 = 750.

Если количество разделов каждой темы в инстансе равно 3, максимальное количество тем составляет 750/3 = 250.

Если количество разделов каждой темы в инстансе равно 1, максимальное количество тем составляет 750/1 = 750.

Родительская тема: Kafka Instance Specifications

Предыдущая статья

Kafka Instance Спецификации

Следующая статья

Сравнение Kafka, RabbitMQ и RocketMQ

Эта статья полезна?

Поддержка Юридические документы Политика конфиденциальности