1. 前言
PS: 新特性主要翻译自官网：Apache Hadoop 3.0.0-alpha1——Overview
2. 概览
Apache Hadoop 3.0.0-alpha1 在hadoop-2.x的基础上集成了大量的新特性。不过这个alpha版本不能保证API的稳定性，需要注意。
3. 关于JAVA版本
必须使用java8及以上版本才能使用hadoop3.0
4. 支持erasure encoding纠错码
HDFS支持纠编码erasure encoding，简称EC技术。EC技术可以防止数据丢失，又可以解决HDFS存储空间翻倍的问题。劣势是：
一旦数据需......
1. 介绍
首先假设你已经安装好了hadoop。
从maven仓库下载符合自己版本的测试jar，并且放到服务器上
2. 使用teragen生成数据
hadoop jar hadoop-*-examples.jar teragen 参数1 参数2
teragen的参数解释：
参数1：表示要产生的数据的行数。Teragen每行数据的大小是100B。
要产生1T的数据，需要的行数=102410241024*1024/100=10995116277行
参数2 : 产生的数据放置的文件夹地址
默认的teragen的启动的map数比较少，只有2个，如果要指定map数可以加......
1. 介绍
之前写过一篇关于hadoop2.7安装的文章，但是里面没有说如何配置HA避免单点故障。今天准备总结下。
较早版本的hadoop虽然也支持通过secondarynamenode来恢复namenode，但是其原理是基于检查点的，仍然会丢数据。新的基于主备的HA通过JNs实时同步edit log可以避免数据丢失的情况。
主要参考资料：HDFS High Availability Using the Quorum Journal Manager
我的机器配置如下：
hostname
role
a1
namenode active,datano......