- tocdepth
2
Топики
Топики (topics) — это категории для организации сообщений в Kafka®. У каждого топика есть название, уникальное в рамках кластера Kafka®.
Поставщики записывают данные в топик, а потребители читают данные из этого топика.
Топики в Kafka® поддерживают множество поставщиков (multi-producer) и множество потребителей (multi-subscriber). Это значит, что у топика может быть ноль, один или множество поставщиков и потребителей.
В отличие от традиционных систем обмена сообщениями, в Kafka® сообщения не удаляются после чтения и могут читаться потребителями сколько угодно раз. Время хранения сообщений вы можете определить самостоятельно в настройках конфигурации топика.
Разделы
Топики разбиваются на разделы (partitions), то есть распределяются между сегментами в разных брокерах. Распределенное размещение данных играет важную роль для масштабируемости, так как это позволяет приложениям-клиентам читать и записывать данные на множестве брокеров одновременно. Когда новое сообщение публикуется в топик, оно добавляется в один из разделов топика. Сообщения с одинаковым ключом (например, идентификационный номер клиента или транспортного средства) всегда записываются в один и тот же раздел. Kafka® гарантирует, что любой потребитель определенного раздела всегда будет читать сообщения, хранящиеся в ней, именно в том порядке, в котором они были записаны.
Репликация
Чтобы обеспечить устойчивость к сбоям и высокую доступность данных, каждый раздел в топике может быть реплицирован, в том числе между географическими регионами или центрами обработки данных. При репликации данные копируются таким образом, чтобы всегда существовало несколько брокеров с копией данных на случай сбоя, потери данных или технического обслуживания брокеров. Стандартной рабочей настройкой является фактор репликации, равный 3, то есть в кластере всегда будет три копии данных.
для Dev & Test