使用ignite成倍提升Mapreduce Job性能

1. 介绍

在之前我写的Ignite In-Memory Hadoop Accelerator安装使用这篇文章中我已经介绍了如何安装Ignite In-Memory Hadoop Accelerator。

为了达到添加一个内存缓存层来加速MR JOB的目的,我们使用的是Ignite In-Memory Hadoop Accelerator(下文我就简称IHA了)。这里注意区别下ignite的data fabric组件。

2. 注意事项

2.1 集成yarn的问题

使用IHA也就意味着由ignite来管理MR任务的调度执行了。因为ignite自己实现了native的ign......

Ignite In-Memory Hadoop Accelerator安装使用

1.介绍

ignite在ignite简介一文中已经做了介绍。其功能非常多,我们主要把其功能分为两块:

In-Memory Data Fabric

In-Memory Hadoop Accelerator

从官方文档上也可以看到,官方也主要把ignite分成这两个较为独立的模块:

Ignite In-Me......

ignite简介

1. 前言

前段时间一直在研究alluxio。不过alluxio似乎不太适合我们的使用场景。我们的需求就是想要有一个能无缝集成Hadoop和Spark的内存缓存层来加速每个本地运行的job。关于alluxio的研究可以查看我alluxio分类下的文章。关于为什么alluxio不适合内存缓存加速job的场景可以参考我的文章:采用alluxio提升MR job和Spark job性能的注意点

本文主要介绍下ignite。主要参考文档:

Apache Ignite(V1.7.0)中文开发手册

ignite官网

ignite-github

PS: 强烈推荐看ignit......