Linux 下搭建 Kafka 环境

Linux操作系统基础：用于服务器运维和开发者环境搭建 #生活技巧# #工作学习技巧# #编程语言学习路径#

安装步骤#
准备软件目录

mkdir /datalake
上传之前下载好的安装包到 /datalake 目录下

jdk-8u181-linux-x64.gz

kafka_2.11-2.1.0.tgz

zookeeper-3.4.5.tar.gz

批量解压这几个安装包

cd /datalake
ls * | xargs -n1 tar xzvf
将解压的软件移动到 /usr/local 目录

cd /datalake
mv jdk1.8.0_181 /usr/local/jdk
mv kafka_2.11-2.1.0 /usr/local/kafka
mv zookeeper-3.4.5 /usr/local/zk
配置 Zookeeper

cd /usr/local/zk/conf
首先，先备份 Zookeeper 的默认配置文件

cp zoo_sample.cfg zoo.cfg
然后将配置文件修改下

vi zoo.cfg
将 dataDir 选项配置为

dataDir=/usr/local/zk/data
接下来，配置 Kafka

vi /usr/local/kafka/config/server.properties
将 log.dirs 参数修改为

log.dirs=/usr/local/zk/logs
由于 Kafka 和 Zookeeper 装在同一个 Linux 中，所以 zookeeper.connect 配置维持默认配置即可

zookeeper.connect=localhost:2181
配置环境变量

vi /usr/profile
添加如下内容

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: Z K H O M E / b i n : ZK_HOME/bin: ZKH​OME/bin:KAFKA_HOME/bin
应用环境变量

source /etc/profile
接下来，就开始启动 Kafka，首先，需要先启动 Zookeeper

zkServer.sh start
输出信息如下

[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/…/conf/zoo.cfg
Starting zookeeper … STARTED
说明启动成功。

接下来启动 Kafka

kafka-server-start.sh /usr/local/kafka/config/server.properties
接下来，再打开 Shell 一个窗口，创建 topic

kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic test
然后再开一个 Shell 窗口，启动生产者

kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
再打开一个 Shell 窗口，启动消费者

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
切换到生产者启动页面，发送数据，消费者能正常接收数据

生产者

消费者

网址：Linux 下搭建 Kafka 环境 https://www.yuejiaxmz.com/news/view/862079

相关内容

kafka启动报错记录：Connection to node 0 could not be established. Broker may not be available.
轻松学习Linux之自动执行任务
【HBZ分享】Kafka中日志清理策略
linux怎么修改ens33文件,Linux环境下DHCP客户端配置,修改文件/etc/sysconfig/network
Kafka部分：kafka的原理，解释一下 leader 均衡机制(auto.leader.rebalance.enable=true)，高可用和负载均衡的区别
Linux环境下安装并配置Java JDK环境配置
【Discuz】在linux中搭建 Discuz 论坛（LAMP=linux+Apache+mysql+PHP）
个人办公及开发环境设计
linux c 环境控制篇
【Linux自动化任务构建】

随便看看