联系管理员

开通文章发布权限

扫码 添加微信
微信图片
电话:18888888888 QQ:

漫步Kafka命令之林,聆听消息流转的诗意旋律

以下是 Kafka Shell 的常用命令大全,涵盖了集群管理、Topic 操作、生产者和消费者操作、消费者组管理等方面的内容:

Kafka 集群管理

启动 Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &

停止 Zookeeper

bin/zookeeper-server-stop.sh

启动 Kafka Broker

bin/kafka-server-start.sh config/server.properties

或后台启动:

bin/kafka-server-start.sh -daemon config/server.properties

停止 Kafka Broker

bin/kafka-server-stop.sh

查看 Broker 状态

如果依赖 Zookeeper:

bin/zookeeper-shell.sh <zookeeper_host>:<port> ls /brokers/ids

如果不依赖 Zookeeper:

bin/kafka-broker-api-versions.sh --bootstrap-server <broker_host>:<port>

或:

bin/kafka-topics.sh --bootstrap-server <broker_host>:<port> --describe

Topic 操作

创建 Topic

bin/kafka-topics.sh --create --bootstrap-server <broker_host>:<port> --replication-factor <replCount> --partitions <partitionCount> --topic <topicName>

查看所有 Topic

bin/kafka-topics.sh --list --bootstrap-server <broker_host>:<port>

查看指定 Topic 的详细信息

bin/kafka-topics.sh --describe --topic <topicName> --bootstrap-server <broker_host>:<port>

修改 Topic 配置

bin/kafka-topics.sh --alter --topic <topicName> --config <key>=<value> --bootstrap-server <broker_host>:<port>

扩容 Topic 分区

bin/kafka-topics.sh --alter --topic <topicName> --partitions <newPartitionCount> --bootstrap-server <broker_host>:<port>

删除 Topic

bin/kafka-topics.sh --delete --topic <topicName> --bootstrap-server <broker_host>:<port>

生产者操作

发送消息到指定 Topic

bin/kafka-console-producer.sh --topic <topicName> --bootstrap-server <broker_host>:<port>

发送消息到指定分区

bin/kafka-console-producer.sh --topic <topicName> --partition <partitionNumber> --bootstrap-server <broker_host>:<port>

消费者操作

从指定 Topic 消费消息

bin/kafka-console-consumer.sh --topic <topicName> --bootstrap-server <broker_host>:<port> --from-beginning

从指定分区消费消息

bin/kafka-console-consumer.sh --topic <topicName> --partition <partitionNumber> --bootstrap-server <broker_host>:<port>

指定消费组消费消息

bin/kafka-console-consumer.sh --topic <topicName> --bootstrap-server <broker_host>:<port> --group <groupId>

消费者组管理

列出所有消费者组

bin/kafka-consumer-groups.sh --list --bootstrap-server <broker_host>:<port>

查看指定消费者组的详细信息

bin/kafka-consumer-groups.sh --describe --group <groupId> --bootstrap-server <broker_host>:<port>

删除消费者组

bin/kafka-consumer-groups.sh --delete --group <groupId> --bootstrap-server <broker_host>:<port>

重置消费者组的消费位移

bin/kafka-consumer-groups.sh --group <groupId> --reset-offsets --all-topics --to-earliest --execute --bootstrap-server <broker_host>:<port>

其他选项:

  • --to-latest:重置到最新位移

  • --to-offset <offset>:重置到指定位移

  • --to-datetime <datetime>:重置到指定时间点的最早位移

其他管理命令

查看集群状态

bin/kafka-broker-api-versions.sh --bootstrap-server <broker_host>:<port>

重新选举 Topic 分区的 Leader

bin/kafka-preferred-replica-election.sh --bootstrap-server <broker_host>:<port>

数据重平衡

bin/kafka-reassign-partitions.sh --bootstrap-server <broker_host>:<port>

相关文章

neo4j部署手册
Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。
DataX和DataX-WEB 安装步骤
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
K8S集群搭建手册(集群版)
kubernetes,简称K8s,是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。
Apollo部署手册
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。

评论

快捷导航

把好文章收藏到微信

打开微信,扫码查看

关闭

还没有账号?立即注册