- tocdepth
2
Спецификации Distributed Message Service for Kafka
DMS for Kafka совместим с open-source версиями Kafka 1.1.0, 2.3.0, 2.7 и 3.x.
Примечание
TPS (Transactions per second) в сервисе DMS for Kafka — максимальное количество записанных сообщений в секунду. Показатели TPS, приведенные в таблице спецификаций, рассчитаны в следующих условиях:
Размер одного сообщения — 1 КБ.
Тип диска — Ultra-high I/O.
Приватный доступ без SASL-аутентификации.
В DMS for Kafka доступны только инстансы типа «Cluster»:
Флейвор |
Количество брокеров |
Максимальное количество TPS на брокер |
Максимальное количество партиций на брокер |
Рекомендуемое количество групп потребителей на брокер |
Максимальное количество клиентских подключений на брокер |
Дисковое пространство кластера (ГБ) |
Трафик на брокер (МБ/с) |
|---|---|---|---|---|---|---|---|
|
3–30 |
30 000 |
250 |
20 |
2 000 |
300–300 000 |
100 |
|
3–30 |
100 000 |
500 |
100 |
4 000 |
300–600 000 |
200 |
|
3–50 |
150 000 |
1 000 |
150 |
4 000 |
300–1 500 000 |
375 |
|
3–50 |
200 000 |
1 500 |
200 |
4 000 |
300–1 500 000 |
625 |
|
3–50 |
250 000 |
2 000 |
200 |
4 000 |
300–1 500 000 |
750 |
Подбор флейвора
Рекомендации по выбору флейвора:
kafka.2u4g.clusterс тремя брокерами рекомендуется для 6 000 клиентских подключений, 60 групп потребителей и 90 000 TPS.kafka.4u8g.clusterс тремя брокерами рекомендуется для 12 000 клиентских подключений, 300 групп потребителей и 300 000 TPS.kafka.8u16g.clusterс тремя брокерами рекомендуется для 12 000 клиентских подключений, 450 групп потребителей и 450 000 TPS.kafka.12u24g.clusterс тремя брокерами рекомендуется для 12 000 клиентских подключений, 600 групп потребителей и 600 000 TPS.kafka.16u32g.clusterс тремя брокерами рекомендуется для 12 000 клиентских подключений, 600 групп потребителей и 750 000 TPS.
Подбор дискового пространства
Инстансы Kafka поддерживают хранение сообщений в нескольких репликах. Для хранения логов и метаданных зарезервировано по 33 ГБ дискового пространства на каждый брокер. Таким образом дисковое пространство используется для хранения сообщений, логов и метаданных.
При создании инстанса задайте размер дискового пространства в соответствии с ожидаемым размером сообщений, количеством реплик и зарезервированным пространством.
Например, если предполагаемый размер сообщений — 100 ГБ, количество реплик — 2, а количество брокеров — 3, то объем дискового пространства должен быть не менее 299 ГБ:
\(100\ ГБ\ сообщений \times 2\ реплики + 33\ ГБ\ зарезервированного\ пространства \times 3\ брокера = 299\ ГБ\)
Объем дискового пространства можно увеличить, но нельзя уменьшить.
Количество топиков
Максимальное количество топиков в одном инстансе ограничено и зависит от максимального количества партиций и их количества в каждом топике. Максимальное количество партиций на брокер указано в таблице спецификаций.
Создать новый топик не удастся в случае, когда достигнут лимит по количеству партиций.
Например, для инстанса kafka.2u4g.cluster с тремя брокерами максимальное количество партиций составляет 750 (3 брокера по 250 партиций).
В таком случае максимальное количество топиков может быть следующим:
Если количество партиций в каждом топике — 3, максимальное количество топиков — 250 (750/3).
Если количество партиций в каждом топике — 1, максимальное количество топиков — 750 (750/1).
для юрлиц и ИП