Примечания и ограничения

Kafka ZooKeeper

Кластеры Kafka управляются с помощью ZooKeeper. Открытие ZooKeeper может привести к ошибочным операциям и потерям сервиса. В настоящее время ZooKeeper используется только внутри кластеров Kafka и не предоставляет услуги внешним пользователям.

Версия

• Версия сервиса может быть 1.1.0, 2.7 или 3.x. Kafka instances нельзя обновлять после их создания.
• Поддерживаются клиенты версии новее 0.10. Используйте версию, совместимую с версией сервиса.

Вход в VM, где находятся брокеры Kafka

Не поддерживается

Хранилище

• Объём хранения инстансов кластера можно увеличить, но нельзя уменьшить.

Пропускная способность или количество брокеров.

Пропускную способность и количество брокеров инстансов кластера можно увеличить, но нельзя уменьшить.

Broker flavor

• Broker flavor инстансов кластера можно увеличить, но нельзя уменьшить.
• Топики с одной репликой не поддерживают производство сообщений в течение этого периода. Сервисы будут прерваны.
• Если у топика несколько реплик, масштабирование вверх Broker flavor не прерывает сервисы, но может вызвать беспорядок сообщений разделов. Оцените влияние и избегайте пиковых часов.
• Постепенные перезапуски брокера вызовут изменения лидера раздела, прерывая соединения менее чем на минуту при стабильной сети. Для топиков с несколькими репликами настройте механизм повторных попыток в клиенте продюсера.

VPC, subnet, и AZ

После создания инстанса его VPC, subnet и AZ нельзя изменить.

Kerberos authentication

Не поддерживается

Клиентские соединения с каждого IP-адреса

Каждый Kafka broker по умолчанию допускает максимум 1000 соединений с каждого IP-адреса. Избыточные соединения будут отклонены.

Общее количество разделов топика

Общее количество разделов топика зависит от спецификаций instance. Для подробностей см. Cluster Kafka Instances.

Kafka управляет сообщениями по разделам. Если количество разделов слишком велико, создание, хранение и извлечение сообщений будет фрагментировано, что повлияет на производительность и стабильность. Если общее количество разделов топиков достигнет верхнего предела, создание новых топиков будет невозможно.

Количество разделов в топике

• Согласно ограничениям open-source Kafka, количество разделов в топике можно увеличить, но нельзя уменьшить.
• Для обеспечения производительности рекомендуется, чтобы количество разделов в каждом топике не превышало 200.

Количество топиков

Количество топиков зависит от общего количества разделов топика и количества разделов в каждом топике. Для подробностей см. Cluster Kafka Instances.

Автоматическое создание топика

Поддерживается. Если эта опция включена, топик будет автоматически создан, когда сообщение будет отправлено в несуществующий топик или получено из него. По умолчанию у топика заданы следующие параметры:

• Partitions: 3
• Replicas: 3
• Aging Time: 72
• Synchronous Replication и Synchronous Flushing отключено
• Message Timestamp: CreateTime
• Max. Message Size (bytes): 10,485,760

Для кластерных инстансов после изменения значения параметра log.retention.hours (период удержания), default.replication.factor (количество реплик) или num.partitions (количество разделов) будет использовано в последующих темах, автоматически создаваемых.

Например, предположим, что значение num.partitions изменено на 5; автоматически созданная тема имеет следующие параметры:

• Partitions: 5
• Replicas: 3
• Aging Time: 72
• Synchronous Replication и Synchronous Flushing отключено
• Message Timestamp: CreateTime
• Max. Message Size (bytes): 10,485,760

Синхронная репликация

Если у темы только одна реплика, синхронную репликацию нельзя включить.

Количество реплик

Топики с одной репликой не рекомендуется использовать для cluster instances. Если узел instance неисправен, при запросе сообщений в топике с единственной репликой может быть возвращена ошибка внутреннего сервиса. Поэтому не рекомендуется использовать топик с единственной репликой.

Время устаревания

Параметр log.retention.hours применяется только в том случае, если для топика не задано время устаревания.

Например, если время устаревания Topic01 установлено в 60 часов, а log.retention.hours — в 72 часа, фактическое время устаревания Topic01 составит 60 часов.

Пакетный импорт и экспорт топиков

Пакетный экспорт поддерживается, но пакетный импорт не поддерживается.

Имя топика

Если имя топика начинается со специального символа, например, решётки (#), данные мониторинга не могут отображаться.

Отложенные очереди

Не поддерживается

Сбои брокеров

Если некоторые брокеры instance неисправны, топики нельзя создавать, изменять или удалять, но их можно запрашивать.

Создание групп потребителей, потребителей и продюсеров

• Когда параметр auto.create.groups.enable установлен в true, вам не требуется создавать группу потребителей, продюсер или потребитель, поскольку они генерируются автоматически при использовании instance.
• Когда параметр auto.create.groups.enable установлен в false, вам необходимо создать группу потребителей, но не требуется создавать продюсер или потребитель.

Сброс смещения потребителя

Сообщения могут быть получены более одного раза после сброса смещения.

Имя группы потребителей

Если имя группы потребителей начинается со специального символа, например, знака решётки (#), данные мониторинга не могут быть отображены.

Сбои брокеров

Когда некоторые instance brokers неисправны, группы потребителей не могут быть созданы, изменены или удалены, прогресс потребления не может быть сброшен, но группы потребителей могут быть запрошены.

Размер сообщения

Максимальная длина сообщения — 10 МБ. Если длина превышает 10 МБ, операция завершается с ошибкой.

Количество пользователей

Максимальное количество пользователей, которое можно создать для Kafka instance, составляет 20 или 500. Проверьте консоль для получения фактического ограничения.

Сбои брокеров

Когда некоторые brokers instance неисправны, пользователи не могут быть созданы, изменены или удалены, пароль не может быть сброшен, но пользователи могут быть запрошены.