tocdepth

2

Спецификации

В этом разделе описаны спецификации инстансов DMS for Kafka.

DMS for Kafka совместим с open-source версиями Kafka — 1.1.0, 2.3.0, 2.7 и 3.x.

Спецификации инстансов Kafka

Спецификация инстанса

Количество брокеров

Эталонная производительность (TPS/брокер)

Максимальное количество партиций/брокер

Максимальное количество групп пользователей/брокер

Трафик/брокер (МБ/с)

Объем хранилища/брокер (ГБ)

kafka.2u4g.cluster

3–30

30 000

250

20

100

100–10 000

kafka.4u8g.cluster

3–30

100 000

500

100

200

100–20 000

kafka.8u16g.cluster

3–50

150 000

1 000

150

250

100–30 000

kafka.12u24g.cluster

3–50

200 000

1 500

200

375

100–30 000

kafka.16u32g.cluster

3–50

250 000

2 000

200

500

100–30 000

Выбор спецификации

  • kafka.2u4g.cluster с тремя брокерами

    Рекомендуется для 6 000 клиентских подключений, 60 групп пользователей и 90 000 TPS.

  • kafka.4u8g.cluster с тремя брокерами

    Рекомендуется для 12 000 клиентских подключений, 300 групп пользователей и 300 000 TPS.

  • kafka.8u16g.cluster с тремя брокерами

    Рекомендуется для 12 000 клиентских подключений, 450 групп пользователей и 450 000 TPS.

  • kafka.12u24g.cluster с тремя брокерами

    Рекомендуется для 12 000 клиентских подключений, 600 групп пользователей и 600 000 TPS.

  • kafka.16u32g.cluster с тремя брокерами

    Рекомендуется для 12 000 клиентских подключений, 600 групп пользователей и 750 000 TPS.

Выбор хранилища

Инстансы Kafka поддерживают хранение данных в нескольких репликах. Пространство хранилища используется всеми репликами. При создании инстанса укажите объем дискового пространства, исходя из ожидаемого размера сообщений и количества реплик.

Например, если предполагаемый размер сообщения — 100 ГБ, то объем дискового пространства должен быть не менее: 100 ГБ x количество реплик + 100 ГБ (резервное пространство).

Объем дискового пространства можно увеличить.

Количество топиков и партиций

Количество топиков и общее количество партиций в них ограничено. Общее количество партиций определяет спецификация инстанса. При достижении лимита количества партиций создание топиков прекращается.

Количество топиков зависит от максимального количества партиций и их заданного количества в каждом топике.

Максимальное количество партиций для инстанса kafka.2u4g.cluster с тремя брокерами — 750.

Если количество партиций каждого топика в инстансе — 3, то максимальное количество топиков — 750/3 = 250.

Если количество партиций каждого топика в инстансе — 1, то максимальное количество топиков — 750/1 = 750.

Запустили Evolution free tier
для Dev & Test
Получить