xiawen0731

Hbase集群安装

2018/04/02 Hbase

Hbase集群安装

机器

如果只有3台主机，可以按照如下规划来部署安装

IP host
172.16.185.68 hadoop1
172.16.185.69 hadoop2
72.16.185.70 hadoop3

Hadoop集群安装

Hbase依赖Hadoop，详见 Hadoop集群安装

hbase安装

上传hbase安装包

解压

tar zxvf /data/software/hbase-1.2.4-bin.tar.gz -C /data/

配置hbase集群

要修改3个文件（首先zk集群已经安装好了）

注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

修改hbase-env.sh

vim /data/hbase-1.2.4/conf/hbase-env.sh

export JAVA_HOME=/data/java
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false

修改hbase-site.xml

vim /data/hbase-1.2.4/conf/hbase-site.xml

<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://ns1/hbase</value>
    </property>
    <!-- 指定hbase是分布式的 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定zk的地址，多个用“,”分割 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>
</configuration>

修改regionservers

vim /data/hbase-1.2.4/conf/regionservers
hadoop1
hadoop2
hadoop3

拷贝hbase到其他节点

将配置好的HBase拷贝到每一个节点并同步时间。

scp -r /data/hbase-1.2.4/ hadoop2:/data/
scp -r /data/hbase-1.2.4/ hadoop3:/data/

启动所有的hbase

分别启动zk
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase，在主节点上运行：
zkServer.sh start

通过浏览器访问hbase管理页面

http://hadoop1:16010/master-status

image

为保证集群的可靠性，要启动多个HMaster

hbase-daemon.sh start master

启动集群

前提要启动zk

root切换用户
su hadoop

hadoop1上
/data/hadoop-2.5.2/sbin/start-dfs.sh
/data/hadoop-2.5.2/sbin/start-yarn.sh
/data/hbase-1.2.4/bin/start-hbase.sh
hadoop2上	
/data/hbase-1.2.4/bin/hbase-daemon.sh start master

停止集群

hadoop1上
/data/hadoop-2.5.2/sbin/stop-dfs.sh
/data/hadoop-2.5.2/sbin/stop-yarn.sh

配置环境变量

vi /etc/profile.d/hbase.sh

export HBASE_HOME=/data/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin`

脚本

create 'TABLE_NAME',
{NAME=>'info',TTL => '604800',VERSIONS=>'1',BLOCKCACHE => true,DATA_BLOCK_ENCODING => 'FAST_DIFF',
BLOOMFILTER => 'ROW', IN_MEMORY => 'false', REPLICATION_SCOPE => '0',  MIN_VERSIONS => '0',KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', METADATA => { 'ENCODE_ON_DISK' => 'true'}}, SPLITS => ['2','4','6','8','10','12','14','16','18','20','22','24','26','28','30', '32','34','36','38','40',
'42','44','46','48','50','52','54','56','58','60','62','64','66','68','70', '72','74','76','78','80','82','84','86','88','90','92','94','96','98']

Search

    Post Directory