Memory Storage Support in HDFS

1. 前言

利用内存已是大势所趋。Spark的基于内存的计算就是一个很好的利用内存的例子。hadoop现在的架构也在做调整,学习spark的思路。架构设计上也越来越多的利用内存。例如在hadoop 2.6以后,HDFS就开始支持将数据存到内存了。本文对该特性做一些介绍。

主要基于hadoop 2.7.2的文档:Memory Storage Support in HDFS

2. 介绍

HDFS也支持往datanode管理的堆外内存写数据了。datanode会异步地将这些数据flush到磁盘上。这样的写入过程称作“Lazy Persist write"。如果一个no......

读写HDFS操作例子

1. 介绍

采用hadoop 2.7.2的API

2. 代码

我们使用MAVEN工程,如果需要哪些依赖还不清楚,请参考我的文章idea中调试hadoop mapreduce程序(windows)

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.ap......