kafka的安装

简介

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

系统环境

jdk1.8(64位，ZooKeeper和kafka也需要64位，否则会启动失败)

安装ZooKeeper

1、 下载安装包

2、 解压并进入ZooKeeper目录，如：D:\Kafka\zookeeper-3.4.9\conf

3、 将“zoo_sample.cfg”重命名为“zoo.cfg” 并进入编辑dataDir=D:\Kafka\zookeeper-3.4.9\tmp

4、 添加系统变量：ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.9

5、 编辑path系统变量，添加路径：%ZOOKEEPER_HOME%\bin

6、 打开cmd，输入“zkServer“，运行Zookeeper

安装kafka

1、 下载安装包

2、进入config目录找到文件server.properties修改kafka日志路径

log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs

3、启动kafka，cmd中输入

.\bin\windows\kafka-server-start.bat .\config\server.properties

kafka常用指令

1、创建主题

Windows：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

linux：

.\bin\kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2、查看主题

Windows：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

linux：

.\bin\kafka-topics.sh --list --zookeeper localhost:2181

3、创建生产者

Windows：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

linux：

.\bin\kafka-console-producer.sh --broker-list localhost:9092 --topic test

3、创建消费者

Windows：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

linux：

.\bin\kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

3、查看Zookeeper中的topic

进入zookeeper中bin目录下，在cmd控制台中输入

Windows运行./zkCli.cmd  linux运行./zkCli.sh

ls /brokers/topics

4、使用Zookeeper删除Kafka中的topic

rmr /brokers/topics/主题topic