Спецификации
В этом разделе описаны спецификации инстансов DMS for Kafka.
DMS for Kafka совместим с open-source версиями Kafka — 1.1.0, 2.3.0, 2.7 и 3.x.
Спецификация инстанса |
Количество брокеров |
Эталонная производительность (TPS/брокер) |
Максимальное количество партиций/брокер |
Максимальное количество групп пользователей/брокер |
Трафик/брокер (МБ/с) |
Объем хранилища/брокер (ГБ) |
|---|---|---|---|---|---|---|
kafka.2u4g.cluster |
3–30 |
30 000 |
250 |
20 |
100 |
100–10 000 |
kafka.4u8g.cluster |
3–30 |
100 000 |
500 |
100 |
200 |
100–20 000 |
kafka.8u16g.cluster |
3–50 |
150 000 |
1 000 |
150 |
250 |
100–30 000 |
kafka.12u24g.cluster |
3–50 |
200 000 |
1 500 |
200 |
375 |
100–30 000 |
kafka.16u32g.cluster |
3–50 |
250 000 |
2 000 |
200 |
500 |
100–30 000 |
Выбор спецификации
kafka.2u4g.cluster с тремя брокерами
Рекомендуется для 6 000 клиентских подключений, 60 групп пользователей и 90 000 TPS.
kafka.4u8g.cluster с тремя брокерами
Рекомендуется для 12 000 клиентских подключений, 300 групп пользователей и 300 000 TPS.
kafka.8u16g.cluster с тремя брокерами
Рекомендуется для 12 000 клиентских подключений, 450 групп пользователей и 450 000 TPS.
kafka.12u24g.cluster с тремя брокерами
Рекомендуется для 12 000 клиентских подключений, 600 групп пользователей и 600 000 TPS.
kafka.16u32g.cluster с тремя брокерами
Рекомендуется для 12 000 клиентских подключений, 600 групп пользователей и 750 000 TPS.
Выбор хранилища
Инстансы Kafka поддерживают хранение данных в нескольких репликах. Пространство хранилища используется всеми репликами. При создании инстанса укажите объем дискового пространства, исходя из ожидаемого размера сообщений и количества реплик.
Например, если предполагаемый размер сообщения — 100 ГБ, то объем дискового пространства должен быть не менее: 100 ГБ x количество реплик + 100 ГБ (резервное пространство).
Объем дискового пространства можно увеличить.
Количество топиков и партиций
Количество топиков и общее количество партиций в них ограничено. Общее количество партиций определяет спецификация инстанса. При достижении лимита количества партиций создание топиков прекращается.
Количество топиков зависит от максимального количества партиций и их заданного количества в каждом топике.
Максимальное количество партиций для инстанса kafka.2u4g.cluster с тремя брокерами — 750.
Если количество партиций каждого топика в инстансе — 3, то максимальное количество топиков — 750/3 = 250.
Если количество партиций каждого топика в инстансе — 1, то максимальное количество топиков — 750/1 = 750.
для Dev & Test