使用flume将avro源的数据写入HDFS

1. 介绍

本节主要讲解如何使用flume将avro源的数据写入HDFS

2. 配置flume

下载安装flume不说了,比较简单。从flume 官网下载并且在自己的机器上解压即可

执行以下操作创建配置文件

vi flume-conf.properties

按照以下来修改配置文件

# ------------------- 定义数据流----------------------

# source的名字

agent.sources = avroSource

# channels的名字,建议按照type来命名

agent.channels = memoryCh......

flume1.6原理浅析

1. 概览

flume是一个分布式的高可用、高效的数据收集和聚集系统。它支持众多数据源产生的事件数据。

2. 基本组件

2.1 agent

flume的核心组件,是一个完整的数据收集工作单元

2.2 source

agent的内部数据源,支持从其他外部数据源获取event data。支持avro、thrift等多种事件信息。

通过 IPC 或 RPC 的......