Appearance
相关命令
主题操作(kafka-topic.sh)
bash
# 创建主题
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 \
--create --topic topic-user \
--partitions 1 \
--replication-factor 1
# 展示主题
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
# 主题详情
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --topic topic-user --describe
# 主题 增加分区
# 无法减少主题的分区数量;因为如果删除了分区,分区里的数据也一并 被删除,导致数据不一致。
# 如果一定要减少分区数量,只能删 除整个主题,然后重新创建它。
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --topic topic-user \
--alter --partitions 2
# 删除主题
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --topic topic-user --delete
动态配置变更(kafka-configs.sh)
首领选举(kafka-leader-election.sh)
分区分配(kafka-reassign-partitions.sh)
删除消息(kafka-delete-records.sh)
查看Broker磁盘信息(kafka-log-dirs.sh)
查看日志文件(kafka-dump-log.sh)
控制台生产者(kafka-console-producer.sh)
bash
# 写入消息
bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 \
--topic topic-user
# 等待光标输入消息,可以输入多条
持续批量推送消息(kafka-verifiable-producer.sh)
生产者压力测试(kafka-producer-perf-test.sh)
控制台消费者(kafka-console-consumer.sh)
-额外参数
参数 | 说明 | 参考配置 |
---|---|---|
-–from-beginning | 从头开始消费,包含已消费的 | -–from-beginning |
-–whitelist | 正则表达式匹配 | --whitelist 'test.*' |
-–property | 显示key进行消费 | -–property print.key=true |
-–partition | 指定分区消费 | -–partition 0 |
-–offset | 定起始偏移量消费 | –-offset 10 |
-–group | 给客户端命名之后,如果之前有过消费,那么–from-beginning 就不会再从头消费了 | --group testGroup |
bash
# 获取主题的队列数据
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 \
--topic topic-user \
--from-beginning
持续批量拉取消息(kafka-verifiable-consumer.sh)
消费者群组(kafka-consumer-groups.sh)
bash
# 列出群组
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
# 群组详情
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --group userGroup --describe