HBase使用教程 http://coderbase64.iteye.com/blog/2074601

Hbase Shell常用命令备忘 http://www.blogchong.com/?act=view&id=104&mod=pad

hbase入门 一些简单的查询语句 http://fishyu0817.iteye.com/blog/634444

Spring For Hadoop–Working With HBase（一） https://segmentfault.com/a/1190000004371405

Hadoop hive相关例子代码和知识 http://www.aboutyun.com/thread-9489-1-1.html

 

 

格式化:

Hadoop执行格式化NameNode、DataNode必看 http://blog.sina.com.cn/s/blog_6fd0fd4b0102var3.html

强制格式化hadoop，清除HBase数据  http://www.voidcn.com/blog/ljz2173/article/p-4601426.html

Hadoop格式化namenode报错问题 http://www.aboutyun.com/thread-9530-1-1.html

 

找到日志: find / -name hbase*.log  –>  /var/log/hbase/hbase-hbase-master-h2.log

深入学习hbase：表，列族，列标识，版本和cell

http://flyingdutchman.iteye.com/blog/1857175

HBase是面向列的分布式的数据库，和传统的关系型数据库有很大的不同：物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念：
表：HBase将数据组织到自己的HTable表中，这个表是根据列族(colomn family)在物理上保存数据的，每个列族都有自己的文件夹和storefiles，不像关系型数据库那样将一个表保存成一个文件，表明也是文件系统路径的一部分。
行：HBase中的行是逻辑上的行，物理上模型上行是按列族(colomn family)分别存取的。HBase有Rowkey的概念，rowkwy没有数据类型，总是被认为是byte[]，它相当于关系型数据表中的主键。另外Rowkey设计的好坏对读取数据有很长大的关系，可以被认为是设计HBase表是最重要的一个环节。而系型数据表中的行是真正意义上的行，逻辑上和物理上都是按行组织数据。
列族：HBase表中的行是按一个叫colomn family的列族分组的，也是在磁盘上也是按列族存储数据的，由于这个原因，故当定义一个hbase表时，除了定义表名外，还必须定义列族。传统数据库没有列族的概念。
  列标识：一个列族中的数据是通过一个叫colomn qualifier的具体描述每一列。列标识在标定一种可以动态定义，既可以在表定义时定义，也可以在保存数据时定义。而传统数据库没有列族的概念。
版本：HBase中的数据有版本的概念，每次生成或修改数据时都保存一个版本信息——这个版本数据就是一个时间戳，可以再定义表时动态设置保存行的版本数量，默认版本数为1，同一行的不同版本的数据是按时间戳倒叙排列的，而其他数据如rowkey和列标识是按字典顺序排列的，这也是读数据操作的一种优化手段。对于某一行，当保存的行的版本数大于设置的值后，最老的版本的数据行就会在执行Major compaction时被删除掉。版本数据是默认添加的，其值时保存数据时的时间戳，long型(长整型)。而系型数据库的表没有此概念。
Cell：在HBase表中，是由rowkey + (colomn family:colomn qualifier) + version来标识一个cell，用户保存的具体数据是保存在这个cell中的，它的值时byte[]类型的，需要在客户端将之改为需要的类型。

 

HBase的表结构

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。

如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。

这些名词的具体含义如下：

(1) Row Key

与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

(1.1) 通过单个row key访问

(1.2) 通过row key的range

(1.3) 全表扫描

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。

存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

注意：

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。

行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

(2) 列族 column family

hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。

访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

(3) 单元 Cell

HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

(4) 时间戳 timestamp

每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

 

通过Ambari安装碰到的问题:

A:  启动后几秒钟就自动关闭
解决方法
禁用IPV6，

增加: net.ipv6.conf.all.disable_ipv6 = 1
将/etc/hosts文件里面的：：1 localhost那一行删掉重启
# 127.0.0.1 localhost.localdomain localhost
# ::1 localhost6.localdomain6 localhosti6
关闭安全模式

删除hbase数据

再重启

B: Reported time is too far out of sync with master, Regionserver与Master时间不一致导致RegionServer无法启动 http://blog.csdn.net/rzhzhz/article/details/7660611

C: 插入表的时候, Failed to get region location

 

D:  No server address listed in hbase:meta for region t1,  或者 Region user …… is not online on  ……

原因是hbase在.META.中没有办法找到该region的server信息，也就是没有办法找到该region所在server地址。

这个时候比较简单的处理方式就是先disable table，然后enable table，在enable的时候会对region重新分配regionserver。

 

错误:

A: Will not attempt to authenticate using SASL http://www.cnblogs.com/wukenaihe/archive/2013/03/15/2961029.html   http://www.aboutyun.com/thread-5870-1-1.html

B: ClusterId read in ZooKeeper is null https://2scompliment.wordpress.com/2013/12/11/running-hbase-java-applications-on-hortonworks-hadoop-sandbox-2-x-with-yarn/  然后看这里 http://www.cnblogs.com/zhangyukun/p/3685468.html , 还是要换一种配置方式,才有更多机会去配置hbase的信息.

C: Can’t get master address from ZooKeeper; znode data == null  http://blog.csdn.net/u010022051/article/details/44176931  或者格式化hbase

D: Master is initializing   先停止时钟ntpd服务器, 再同步, 最后启动时钟ntpd服务器

E: hbase-regionserver服务器停止并报错:

解决: http://www.bkjia.com/sjkqy/972839.html  这里说可能跟硬件有关系: https://github.com/mattshma/bigdata/issues/25   这里是一些建议: http://blog.csdn.net/wfp458113181wfp/article/details/39294619?spm=5176.8246799.blogcont.3.i1Y9wz

F:  doesn’t belong to a known region server …… Failed verification of hbase …… Server is not running yet

G: Failed to become active master
waiting for namespace table to be assigned

H:  Failed verification of hbase:meta

I: role in invalid state

This is issue is resolved. updated the psql DB as below and restarted AMS,  https://community.hortonworks.com/questions/10246/error-role-in-invalid-state.html  This is issue is resolved. updated the psql DB as below and restarted AMS,

或者 http://qq85609655.iteye.com/blog/2084674