理论教育 专业术语解析-Scala语言基础与开发实战

专业术语解析-Scala语言基础与开发实战

时间:2023-11-24 理论教育 版权反馈
【摘要】:使用Consumer High Level API时,同一个Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。Producer发送消息到某个Topic下,Consumer从某个Topic下消费消息。不同的Topic在物理上是分开存储的,但是逻辑上的一个Topic,可能存储在一个或者多个Broker上。使用时,用户只需指定消息的Topic,生产者和消费者并不关心数据存储的位置。

专业术语解析-Scala语言基础与开发实战

Kafka和其他的消息队列系统类似,但是表述的名称不同,下面将相关的概念和术语进行汇总,便于后文的阅读:

●消息(Message):是指在生产者、服务端和消费者之间传输数据。

●消息代理/消息服务器(Message Broker):通俗地说,就是指用来存储消息队列的服务器。

●消息生产者(Message Producer):负责发布消息到Kafka Broker。

●消息消费者(Message Consumer):负责消息的消费,即将消息发送到哪里去,Kafka中每个Consumer属于一个特定的Consumer Group。使用Consumer High Level API时,同一个Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。(www.daowen.com)

●消息的主题(Message Topic):由用户定义并在Broker上配置。Producer发送消息到某个Topic下,Consumer从某个Topic下消费消息。不同的Topic在物理上是分开存储的,但是逻辑上的一个Topic,可能存储在一个或者多个Broker上。使用时,用户只需指定消息的Topic,生产者和消费者并不关心数据存储的位置。

●主题的分区(Partition):每个Topic包含一个或多个Partition,每个分区是一个有序,是不可变的,顺序递增的Commit Log,用户创建Topic时可指定Partition的数量,每个Partition对应于一个文件夹,该文件夹下存储该Partition的数据和索引文件。

●消费者分组(Consumer Group):由多个消费者组成,共同消费一个Topic下的消息,每个消费者消费部分消息。这些消费者就组成一个分组,拥有同一个分组名称,通常也称为消费者集群。

偏移量(Offset):分区中的消息都有一个递增的id,称为offset。它唯一标识了分区中的消息。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈