使用Kafka构建文本数据流

本文目的仅为方便个人后续启动服务的重复操作

环境：在windows中使用VMware Workstation安装的Ubuntu

1、Kafka安装

首先在虚拟机中找到压缩包的位置，打开命令行

解压到/usr/lib位置，注意每个人的版本不同所以要根据自己实际的文件情况解压，我这里的版本是（kafka_2.12-3.1.0.tgz）

tar -xzf kafka_2.12-3.1.0.tgz -C /usr/lib

进入到解压的位置（如果指定了解压位置就要先进入到解压目录）
例如这里要先

cd /usr/lib

进入到Kafka

cd kafka_2.12-3.1.0

由于文件名太长了这里改一下它的名字成kafka
(前面一个是原来的文件名和地址，第二个是要改成的文件名和地址)
相当于移动文件了

sudo mv ./kafka_2.12-3.1.0 ./kafka

2、启动服务

这里要在Kafka文件目录下（下面新开的所有命令行均在Kafka目录中）

启动ZooKeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

再开启一个命令行会话，启动Kafka

bin/kafka-server-start.sh config/server.properties

3、创建Topic

开启一个命令行会话，创建一个名为Shakespeare的Topic:

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic Shakespeare

查看已有的Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Shakespeare

>To be, or not to be, that is the question:

5、消费数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Shakespeare --from-beginning

这篇好文章是转载于：学新通技术网