alluxio使用非root用户启动集群的问题分析

1. 介绍

实际部署alluxio的时候,我们可能都是在非root用户下进行的。但是在其它集群的时候可能会有如下报错,导致无法启动worker.

2016-09-21 00:22:07,124

INFO MASTER Connecting to 10.81.12.166 as appadmin...

2016-09-21 00:22:07,126

INFO MASTER Connecting to 10.81.12.176 as appadmin...

Pseudo-terminal will not be allocated because stdin is not a term......

alluxio基于HDFS的master容错配置

1. 介绍

alluxio这种master-slave结构必然涉及到单点故障。所以配置master的容错是必须的。

如果alluxio还没装好请参考我的其他文章。

本文前提是你已经配好了HA的HDFS。

hadoop配置HA我没写文章,建议参考官方文档:HDFS High Availability

我们采用的实验配置如下:

hostname

role

a1(10.8.12.16)

alluxio-master,alluxio-worker,hadoop master,hadoop slave

a2(10.8.12.17)

allux......

kafka消息写入alluxio

1. 介绍

本节主要介绍如何将kafka消息写入alluxio.

在学习本文前请保证已经读过我的以下文章:

alluxio读写HDFS代码示例

2. 主要代码

由于之前做过其他很多测试,所以有其他相关的函数接口,请留意!

2.1 producer

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.Producer;

import org.apache.kafka.clients.producer.ProducerRecor......