Blog of Kami Wan

本文对部分hbase的知识点做个简单的文章索引。通过一些不错的博客来回顾一下hbase的相关知识。

1. hbase原理回顾

Hbase基础原理

HBase 深入浅出

这两个关于Hbase的博客重点推荐下：

有态度的HBase

HBase 深入浅出

这里再放一些引用的图，方便回顾，重点搞清楚其存储结构和数据模型就行啦。

1.1 基本存储结构

1.2 数据模型

1. 介绍

HBase是一个构建在HDFS上的分布式列存储系统，基于Google BigTable模型开发的，是典型的key/value系统。支持海量结构化数据存储、横向扩展、高可用

2. hbase数据模型

hbase以表的方式在HBase存储数据的。表是由行和列构成的，所有的列是从属于某一个列族的。行和列的交叉点称之为cell,cell是版本化的。cell的内容是不可分割的字节数组。

表的行键也是一段字节数组，所以任何东西都可以保存进去，不论是字符串或者数字。HBase的表是按key排序的，排序方式之针对字节的。所有的表都必须要有主键-key.

2.1 概念视图......

1. hbase sink介绍

如果还不了解flume请查看我写的其他flume下的博客。

接下来的内容主要来自flume官方文档的学习。

顺便也强烈推荐flume 1.6 官方API

hbase的sink主要有以下两种。两种方式都提供和HBASE一样的一致性保证，即行级原子性

1.1 HbaseSink

agent的配置时提供两种序列化模式：

SimpleHbaseEventSerializer: 将整个事件body部分当做完整的一列写入hbase

RegexHbaseEventSerializer: 根据正则表达式将event body拆分到......

1. 介绍

hbase的安装请先确保和hadoop版本一致。具体可以查看hbase官方文档中的Hadoop version support matrix

安装hbase的前提是你已经成功安装hadoop。如果不会可以查看我的文章hadoop2.7.2+spark1.6.2环境搭建教程

我安装的集群规划如下表：

hostname

ip

hadoop role

hbase role

mysql3

10.45.10.33

namenode

master

mysql4

10.45.10.34

datanode

Region Server

mysql5

......