Skip to content

模拟Kafka数据流调试FTRL的方法

Jump to bottom
Andy Huang edited this page Jan 15, 2018 · 2 revisions

本地启动Kafka并发送数据的基本流程

基本流程

  1. 本地安装zookeeper
  2. 本地安装kafka
  3. 创建主题topic
  4. 建立生产者producer
  5. 将需要发送的数据在producer端发送
  6. 消费者consumer端接收数据

以windows端的操作过程举例说明

1.安装zookeeper

  • Windows 7 安装Apache kafka_2.11-0.9.0.1

  • 下载所需文件，Zookeeper地址，Kafka地址

  • 安装Zookeeper

    进入zookeeper设置目录，如E:\soft\elk\zookeeper-3.4.8\conf，将"zoo_sample.cfg" 复制一份，重命名为"zoo.cfg"

    打开并编辑dataDir=/tmp/zookeeper为指定目录为E:/soft/elk/zookeeper-3.4.8/data

    编辑环境变量，Path加 E:\soft\elk\zookeeper-3.4.8\bin

    运行cmd,输入zkserver ,启动zkserver

2.安装kafka

  • 打开新的CMD，在E:\soft\elk\kafka_2.11-0.9.0.1这个路径
  • 输入bin\windows\kafka-server-start.bat config\server.properties

3.创建主题topic

在kafka安装目录的bin\windows目录下，输入：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1。其中

  • zookeeper：如localhost:2181，表示zookeeper的地址
  • topic：topic的名字，如test1
  • partitions：topic的分区数，非特殊情况取1即可

4.建立生产者producer

建立生产者来发送streaming数据，同样在kafka安装目录的bin\windows目录下，输入：

kafka-console-producer.bat --broker-list localhost:9092 --topic test1。其中

  • broker-list：指定生产者要推送消息的broker地址
  • topic:指定topic,跟刚才建立的topic名字保持一致

5.将需要发送的数据在producer端发送

完成生产者建立后，生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端，按回车即发送。

6.消费者consumer端接收数据

消费者端接收数据时，需要指定kafka端的三个信息：zookeeper地址，group名，topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可。如zookeeper地址为“localhost:2181”,topic名字为“test1”。group名可自己设定。

Clone this wiki locally