Flume 配置文件和启动说明

配置文件说明

Flume 的配置文件用于定义 agent 的组件和它们之间的关系。以下是一个 Flume 配置文件的示例：
采集到kafka

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 定义 agent 的组件  
a1.sources = s1  
a1.channels = c1  
a1.sinks = k1  
  
# 配置 source  
a1.sources.s1.type = netcat  
a1.sources.s1.bind = 127.0.0.1  
a1.sources.s1.port = 44444  
  
# 配置 channel  
a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  
  
# 配置 sink  
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink  
a1.sinks.k1.kafka.bootstrap.servers = kafka1:9092,kafka2:9092,kafka3:9092  
a1.sinks.k1.kafka.topic = mytopic  
a1.sinks.k1.flumeBatchSize = 20  
a1.sinks.k1.kafka.producer.acks = all  
  
# 绑定 source, channel, 和 sink  
a1.sources.s1.channels = c1  
a1.sinks.k1.channel = c1

配置文件生成

  1. 创建配置文件

    将上述配置内容保存为一个文件，例如 flume.conf。文件可以保存在任何目录下，但通常情况下会放在 Flume 的配置目录中。

  2. 文件路径

    假设您将文件保存为 /opt/flume/conf/flume.conf，请根据实际情况调整路径。

启动 Flume Agent

使用以下命令启动 Flume Agent，并指定配置文件路径：

1
flume-ng agent --conf /opt/flume/conf --conf-file /opt/flume/conf/flume.conf --name a1
  • --conf 指定 Flume 的配置目录。
  • --conf-file 指定 Flume 配置文件的路径。
  • --name 指定要启动的 Flume agent 的名称（在配置文件中定义的 agent 名称）。