预见猿份

Kafka从入门到应用 ​

第8章 高级应用 ​

tips 学完这一章你可以

  • 作为运维人员掌握命令行工具
  • 使用Connect进行流信息处理
  • 掌握延迟消息、流式处理等
  • Kafka和SpringBoot整合

8.1 命令行工具 ​

参考官网：http://kafka.apache.org/22/documentation.html

8.1.1 消费组管理 ​

查看消费组

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --list
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

从上面可以看出，没有输出任何消费组信息，接下来我们启动一个消费端，再次查询即有消费组信息

img_371.png

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --list
group.demo
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

查看消费组详情

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --describe --group group.demo
bash
TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
CONSUMER-ID                                     HOST            CLIENT-ID
heima           0          0               0               0
consumer-1-38efa901-4917-4660-ab66-3e5b989cbac3 /127.0.0.1      consumer-1
heima           1          0               0               0
consumer-1-38efa901-4917-4660-ab66-3e5b989cbac3 /127.0.0.1      consumer-1
heima           2          0               0               0
consumer-1-38efa901-4917-4660-ab66-3e5b989cbac3 /127.0.0.1      consumer-1
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

查看消费组当前的状态

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --describe --group group.demo --state
bash
COORDINATOR (ID)                 ASSIGNMENT-STRATEGY       STATE
#MEMBERS
Server-node.localdomain:9092 (0) range                     Stable
1
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

消费组内成员信息

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --describe --group group.demo --members
bash
CONSUMER-ID                                     HOST            CLIENT-ID
#PARTITIONS
consumer-1-38efa901-4917-4660-ab66-3e5b989cbac3 /127.0.0.1      consumer-1
3
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

删除消费组，如果有消费者在使用则会失败

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --delete --group group.demo
Error: Deletion of some consumer groups failed:
* Group 'group.demo' could not be deleted due to:
java.util.concurrent.ExecutionException:
org.apache.kafka.common.errors.GroupNotEmptyException: The group is not empty.
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$

8.1.2 消费位移管理 ​

重置消费位移，前提是没有消费者在消费，提示信息如下：

bash
itcast@Server-node:/mnt/d/kafka_2.12-2.2.1$ bin/kafka-consumer-groups.sh --
bootstrap-server localhost:9092 --group g
roup.demo --all-topics --reset-offsets --to-earliest --execute
Error: Assignments can only be reset if the group 'group.demo' is inactive, but
the current state is Stable.
text
TOPIC                          PARTITION  NEW-OFFSET
dayuan@MY-20190430BUDR:/mnt/d/kafka_2.12-2.2.1$

参数：--all-topics指定了所有主题，可以修改为--topics，指定单个主题。

关注公众号，免费阅读全文

请免费关注 预见猿份 公众号，发送：yjoffer.com，获取解锁密码

公众号二维码微信扫码关注

关注公众号回复获取密码后，在下方输入并点击解锁，本机后续再读无需重复输入。