最近在搞kettle整合kafka producer插件,于是自己搭建了一套單機的kafka環(huán)境,以便用于測試?,F(xiàn)整理如下的筆記,發(fā)上來和大家分享。后續(xù)還會有kafka的研究筆記,依然會與大家分享!
1 kafka環(huán)境搭建
1.1 kafka單機環(huán)境搭建
(1)、解壓kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夾。
(2)、kafka需要安裝zookee使用,但kafka集成zookeeper,在單機搭建時可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”。
(3)、配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己隨意配置),后者是客戶端連接zookeeper服務的端口。
(4)、配置kafka_2.11-1.1.0/config下的“server.properties”,修改log.dirs和zookeeper.connect。前者是日志存放文件夾,后者是zookeeper連接地址(端口和clientPort保持一致)。