Apache Kafka 基本操作
首先让我们开始实现单节点-单代理配置,然后将我们的设置迁移到单节点-多代理配置。
相信你现在已经成功安装了Java、ZooKeeper和Kafka。在进入Kafka集群设置之前,首先你需要启动ZooKeeper,因为Kafka集群依赖ZooKeeper。
启动ZooKeeper
打开一新终端,并键入以下命令:
bin/zookeeper-server-start.sh config/zookeeper.properties
要启动Kafka Broker,请键入以下命令
bin/kafka-server-start.sh config/server.properties
启动Kafka Broker后,在ZooKeeper终端上键入命令jps,您会看到以下响应:
821 QuorumPeerMain 928 Kafka 931 Jps
现在您可以看到两个守护进程在终端上运行,其中QuorumPeerMain是ZooKeeper守护进程,另一个是Kafka守护进程。
单节点-单代理配置
在这种配置中,您只有一个ZooKeeper和代理id实例。以下是配置它的步骤
创建Kafka主题:Kafka提供了一个名为kafka-topics的命令行实用程序,用于在服务器上创建Topic(主题)。在终端键入以下示例。
语法
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic-name
例子
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Hello-Kafka
我们刚刚创建了一个名为Hello-Kafka的主题,只有一个分区和一个复本。以上创建的输出将类似下面部分:
输出
Created topic Hello-Kafka
创建主题后,您可以在Kafka代理终端窗口中获得通知,并在config/server.properties文件的“/tmp/kafka-logs/”中获得所创建主题的日志。
主题列表
要获取Kafka服务器中的主题列表,可以使用以下命令:
bin/kafka-topics.sh --list --zookeeper localhost:2181
输出
Hello-Kafka
既然我们已经创建了一个主题,它将只列出Hello-Kafka。假设,如果您创建多个主题,您将在输出中获得主题名称。
启动生产者发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name
根据以上语法,生产者命令行客户端需要两个主要参数
Broker-list:我们要向其发送消息的代理列表。在这种情况下,我们只有一个代理。Config/server.properties文件包含代理端口id,因为我们知道我们的代理正在侦听端口9092,所以您可以直接指定它。
Topic name:主题名称的。
例子
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka
生产者将等待stdin的输入,并发布到Kafka集群。默认情况下,每一行都作为新消息发布,然后默认的生成器属性在config/producer.properties文件中指定。现在您可以在终端中键入几行消息,如下所示。
输出
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka[2016-01-16 13:50:45,931] WARN property topic is not valid (kafka.utils.Verifia-bleProperties) Hello My first message My second message
启动消费者接收消息
与生产者相似,默认的消费者属性在config/consumer . privateties文件中指定。打开一个新的终端,键入以下语法来消费消息。
语法
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic topic-name --from-beginning
例子
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Hello-Kafka --from-beginning
输出
Hello My first message My second message
最后,您可以从生产者的终端输入消息,并看到它们出现在消费者的终端中。到目前为止,您已经很好地理解了使用单个代理的单节点集群。现在让我们转到多代理配置。
单节点-多代理配置
在进入多代理集群设置之前,首先启动ZooKeeper服务器。
创建多个卡夫卡代理:我们已经在con-fig/server.properties中有一个Kafka代理实例。现在我们需要多个代理实例,所以将现有的server.properties文件复制到两个新的配置文件中,并将其重命名为server-one.properties和server-two.properties。然后编辑两个新文件,并分配以下更改
config/server-one.properties # The id of the broker. This must be set to a unique integer for each broker. broker.id=1 # The port the socket server listens on port=9093 # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs-1 config/server-two.properties # The id of the broker. This must be set to a unique integer for each broker. broker.id=2 # The port the socket server listens on port=9094 # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs-2
启动多个代理:在三个服务器上完成所有更改后,打开三个新终端,逐个启动每个代理。
Broker1 bin/kafka-server-start.sh config/server.properties Broker2 bin/kafka-server-start.sh config/server-one.properties Broker3 bin/kafka-server-start.sh config/server-two.properties
现在我们有三个不同的代理在机器上运行。通过在ZooKeeper终端上键入jps,自己尝试检查所有守护进程,然后您会看到响应。
创建主题
让我们为此主题将复制因子值指定为三,因为我们有三个不同的代理在运行。如果您有两个代理,那么分配的副本值将是两个。
语法
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 -partitions 1 --topic topic-name
例子
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 -partitions 1 --topic Multibrokerapplication
输出
created topic “Multibrokerapplication”
描述命令用于检查哪个代理正在侦听当前创建的主题,如下所示:
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic Multibrokerappli-cation
输出
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic Multibrokerappli-cation Topic:Multibrokerapplication PartitionCount:1 ReplicationFactor:3 Configs: Topic:Multibrokerapplication Partition:0 Leader:0 Replicas:0,2,1 Isr:0,2,1
从上面的输出中,我们可以得出结论,第一行给出了所有分区的概要,显示了主题名称、分区计数和我们已经选择的复制因子。在第二行中,每个节点将是随机选择的分区部分的领导者。
在我们的例子中,我们看到我们的第一个代理(broker.id为0)是领导者。那么Replicas:0,2,1意味着所有代理都复制了主题。最后,Isr是一组同步副本,这是副本的子集,目前还活动的被领导者获取到的。
启动生产者发送消息
此过程与单一代理设置中的过程相同。
例子
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication
输出
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication [2016-01-20 19:27:21,045] WARN Property topic is not valid (kafka.utils.Verifia-bleProperties) This is single node-multi broker demo This is the second message
启动消费者接收消息
此过程与单一代理设置中的过程相同。
例子
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Multibrokerapplica-tion --from-beginning
输出
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Multibrokerapplica-tion —from-beginning This is single node-multi broker demo This is the second message
基本主题操作
在本章中,我们将讨论各种基本主题操作。
修改主题
正如你已经知道如何在Kafka群里新建一个主题。现在让我们使用以下命令修改创建的主题:
语法
bin/kafka-topics.sh —zookeeper localhost:2181 --alter --topic topic_name --parti-tions count
例子
我们已经创建了一个主题“Hello-Kafka”,有一个分区计数和一个副本因子。
现在使用“alter”命令更改分区数。
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic Hello-kafka --parti-tions 2
输出
WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected Adding partitions succeeded!
删除主题
要删除主题,可以使用以下语法。
语法
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name
例子
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka
输出
> Topic Hello-kafka marked for deletion
注意-如果delete.topic.enable未设置为true,则不会有影响