Sakura的博客
0%

hbase安装

发表于

下载HBASE到/usr/local

1
2
cd /usr/local
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.17/hbase-2.4.17-bin.tar.gz

解压 

1
tar -zxvf hbase-2.x.x-bin.tar.gz

单机配置

修改/usr/local/hbase/conf/hbase-env.sh 添加以下内容

1
2
3
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241 # 对应的java路径

export HBASE_MANAGES_ZK=true

编辑完成后使用source使修改生效

1
source hbase-env.sh

编辑/etc/profile

1
2
cd ~
sudo vim /etc/profile

添加以下内容

1
2
export HBASE_HOME=/usr/local/hbase    
export PATH=$PATH:$HBASE_HOME/sbin:$HBASE_HOME/bin

使用source命令生效

1
source /etc/profile

修改/usr/local/hbase/conf/hbase-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
<configuration>

    <property>

  <name>hbase.cluster.distributed</name>

  <value>false</value>

 </property>

 <property>

  <name>hbase.tmp.dir</name>

  <value>./tmp</value>

 </property>

 <property>

  <name>hbase.unsafe.stream.capability.enforce</name>

  <value>false</value>

 </property>

 <property>

   <name>hbase.rootdir</name>

   <value>hdfs://192.168.10.129:9000/hbase</value>

  </property>

</configuration>

伪分布式配置

修改hbase-env.sh，添加以下内容

1
2
3
4
5
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241

export HBASE_CLASSPATH=/usr/local/hbase/conf

export HBASE_MANAGES_ZK=true

编辑完成后使用source使修改生效

1
source hbase-env.sh

修改hbase的配置文件hbase-site.xml

1
2
3
cd /usr/local/hbase/conf

vim hbase-site.xml

添加以下内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
<configuration>

 <property>

  <name>hbase.cluster.distributed</name>

  <value>true</value>

 </property>

 <property>

  <name>hbase.tmp.dir</name>

  <value>./tmp</value>

 </property>

 <property>

  <name>hbase.unsafe.stream.capability.enforce</name>

  <value>false</value>

 </property>

 <property>

   <name>hbase.rootdir</name>

   <value>hdfs://192.168.10.129:9000/hbase</value>

  </property>

  <property>

  <name>hbase.zookeeper.quorum</name> <!-- 表示使用hbase自带的zookeeper -->

  <value>192.168.10.129</value>

 </property>

 <property>

  <name>hbase.zookeeper.property.clientPort</name> <!-- zookeeper的端口号 -->

  <value>2181</value>

 </property>

 <property>

  <name>hbase.zookeeper.property.dataDir</name> <!-- zookeeper的data保存目录 -->

  <value>/usr/local/hbase/zookeeper_data</value>

 </property>

</configuration>

即可启动进行测试

先启动hadoop

1
/usr/local/hadoop/sbin/start-dfs.sh

再启动hbase

1
/usr/local/hbase/bin/start-hbase.sh

再输入jps查看进程数，HMaster，HRegionServer，HQuorumPeer即代表Hbase的服务节点

img

此时查看HDFS可以看到有一个hbase文件夹用于存储hbase的数据

img

注意：操作 Hadoop和 HBase的执行顺序是：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。

同时，hbase还提供了web管理页面

访问IP:16010端口

img

完全分布式式安装

参考文章如下所示：

Centos7下HBase安装与配置（亲测！）_centos按照hbase1.2.0-CSDN博客

Centos下ZooKeeper安装部署配置（集群模式）_grep: /opt/zookeeper/apache-zookeeper-3.8.3-bin/bi-CSDN博客

首先需要在三台机器上安装zookeeper

下载安装包

修改权限

1
chmod u+x zookeeper-3.4.13.tar.gz

解压压缩包

1
tar -zxvf zookeeper-3.4.13.tar.gz

创建软链接

1
ln -s zookeeper-3.4.13 zookeeper

修改配置文件

需要注意的是，要先重命名配置文件，配置文件一般位于zookeeper的conf目录下

1
mv zoo_sample.cfg  zoo.cfg

然后需要创建目录，在zookeeper目录下创建 /tmp/data

然后创建文件myid

输入数字1，然后保存退出（注意，这里的1相当于服务的标识符，每个服务有一个唯一的服务ID）

修改zoo.cfg

1
vim zoo.cfg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#The number of milliseconds of each tick

tickTime=2000

#The number of ticks that the initial 

#synchronization phase can take

initLimit=5

#The number of ticks that can pass between 

#sending a request and getting an acknowledgement

syncLimit=2

#the directory where the snapshot is stored.

#do not use /tmp for storage, /tmp here is just 

#example sakes.

#**这个地方填写自己的路径**

dataDir=/opt/Hadoop/zookeeper/tmp/data

#the port at which the clients will connect

clientPort=2181

#the maximum number of client connections.

#increase this if you need to handle more clients

#maxClientCnxns=60 

#服务器名称与地址:集群信息(服务器编号、服务器编号、服务器地址、LF通信端口、选举端口)

server.1=node1:2888:3888

server.2=node2:2888:3888

server.3=node3:2888:3888

然后就是分发文件，把一台主机上的配置分发到其他主机上，使用脚本xsync

然后把myid文件修改一下，比如第二台机器就修改为2，以此类推

然后就是启动zookeeper 

1
zkServer.sh start

安装完zookeeper以后就可以开始安装hbase了

上传安装包

修改权限

1
chmod u+x hbase-1.2.0-cdh5.9.3.tar.gz

解压

1
tar -zxvf hbase-1.2.0-cdh5.9.3.tar.gz

建立软链接

1
ln -s hbase-1.2.0-cdh5.9.3 hbase

配置环境变量

1
vim ~/.bashrc
1
2
3
export HBASE_HOME=/opt/Hadoop/hbase

export PATH=$HBASE_HOME/bin:$PATH

然后退出，执行

1
source ~/.bashrc

修改配置文件，配置文件一般位于hbase的conf目录下

1
vim hbase-env.sh
1
2
3
export JAVA_HOME=/opt/Hadoop/jdk1.8.0_162 # 改成自己的jdk路径

export HBASE_MANAGES_ZK=false

然后在hbase目录下创建存放zookeeper数据的文件

1
mkdir zookeeper-data

修改配置文件

1
vim hbase-site.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
<configuration>

     <!-- Hbase的数据保存在HDFS对应的目录下 -->

    <property>

        <name>hbase.rootdir</name>
        <value>hdfs://node1:8020/hbase</value>

    </property>

 

    <!-- 是否是分布式环境 -->

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

 

    <!-- 配置ZK的地址，3个节点都启用Zookeeper -->

    <property>

       <name>hbase.zookeeper.quorum</name>

       <value>node1,node2,node3</value>

   </property>

 

   <!-- 冗余度 -->

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

 

    <!-- 主节点和从节点允许的最大时间误差 -->

    <property>

        <name>hbase.master.maxclockskew</name>

        <value>180000</value>

    </property>

 

    <!-- zookeeper数据目录 -->

    <property>

        <name>hbase.zookeeper.property.dataDir</name>

        <value>/opt/Hadoop/hbase/zookeeper-data</value>

    </property>

		<!-- 设置网页端口号 -->

    <property>

        <name>hbase.master.info.port</name>

        <value>60010</value>

   </property>

</configuration>

再修改regionservers，改成自己的

1
vim regionservers

然后就是使用脚本进行分发

启动三台机器

1
start-hbase.sh

img

Bug提醒

在启动HBASE时可能会报错

1
SLF4J: Class path contains multiple SLF4J bindings.等等

只需要把hadoop或者HBASE目录结构中其中一个日志的jar包删除掉即可，具体位置需要看报错信息

需要注意的是，删除HBASE目录下的slf4j-reloadxxxx以后，建议是把hadoop目录下同名的jar包复制过来，不然后面还会有其他报错

同时建议修改hbase-env.sh

新增

1
export Hbase_Disable_Hadoop_CLASSPATH_LOOKUP=true

Hadoop 安全模式，如果开启了hadoop的安全模式会导致HBASE的命令失效报错

可以使用下述命令查看是否启动安全模式

1
hadoop dfsadmin -safemode get

如果启动了可以使用下述命令关闭

1
hadoop dfsadmin -safemode leave

如果一直无法关闭HBASE,可以使用下述命令

1
2
3
hbase-daemon.sh stop master

stop-hbase.sh

如果没用的话可以先关闭HDFS

一切正常以后就可以进行正常使用，比如命令行的方式使用

使用 hbase shell 进入命令行进行操作

list 查看当前所有的表

img

进行建表的时候也可能会报错

比如：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

解决方法：删除HDFS下的HBASE目录以及zookeeper下的hbase目录

1
hdfs dfs -rm -r /hbase

如果使用的是外置的zookeeper的话，直接使用客户端进入zookeeper删除即可，如果是伪分布式，使用自带的zookeeper的话，就要去配置文件设置的存储文件夹寻找

删除完后正常使用建表语句 

1
create ‘student’,’info’

img

插入一条记录 

1
put ‘student’,’1001’,’info’,’male’

img

查看表记录scan ‘student’

img

命令行操作：

List：查看所有表

img

创建表

img

插入数据：

img

删除数据

img

删除表 drop 表名，要先禁用

img

Java操作：

加载对应的依赖：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
<dependencies>

    <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->

    <dependency>

      <groupId>org.apache.hbase</groupId>

      <artifactId>hbase-client</artifactId>

      <version>2.4.8</version>

    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase -->

    <dependency>

      <groupId>org.apache.hbase</groupId>

      <artifactId>hbase</artifactId>

     <version>2.4.8</version>

      <type>pom</type>

    </dependency>

  </dependencies>

初始化连接配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
static {

    //HBase Master地址，在hbase-site.xml中配置

    conf.set("hbase.rootdir", "hdfs://hadoop102:8020/hbase");

    //ZooKeeper三个服务器地址

    conf.set("hbase.zookeeper.quorum", "hadoop102,hadoop103,hadoop104");

 

    try {
      connection = ConnectionFactory.createConnection(conf);

      admin = connection.getAdmin();

    } catch (IOException e) {

      e.printStackTrace();

    }

  }

测试建表

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void createTable(String tableName) throws IOException {

 

    //通过管理员对象创建表

    HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));

    //给表添加列族

    HColumnDescriptor f1 = new HColumnDescriptor("f1");

    HColumnDescriptor f2 = new HColumnDescriptor("f2");

   //将两个列族设置到 创建的表中


    hTableDescriptor.addFamily(f2);

    //创建表

    admin.createTable(hTableDescriptor);
    //关闭连接

    admin.close();

    connection.close();

    System.out.println("创建表成功");

  }

插入数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void addData(String tableName) throws IOException {

 

    //获取表对象

    Table myuser = connection.getTable(TableName.valueOf(tableName));
    Put put = new Put("0001".getBytes());

    put.addColumn("f1".getBytes(), "id".getBytes(), Bytes.toBytes(1));

    put.addColumn("f1".getBytes(), "name".getBytes(), Bytes.toBytes("小明"));

    put.addColumn("f1".getBytes(), "age".getBytes(), Bytes.toBytes(22));

    put.addColumn("f2".getBytes(), "sex".getBytes(), Bytes.toBytes("男"));

    put.addColumn("f2".getBytes(), "address".getBytes(), Bytes.toBytes("青岛"));

    put.addColumn("f2".getBytes(), "phone".getBytes(), Bytes.toBytes("15900000001"));
    put.addColumn("f2".getBytes(), "say".getBytes(), Bytes.toBytes("你好"));

    myuser.put(put);

    //关闭表

    myuser.close();

    System.out.println("插入数据成功");

}

查看数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
public void scanAllData(String tableName) throws IOException {

 

    //获取表对象

    Table myuser = connection.getTable(TableName.valueOf(tableName));

    Scan scan = new Scan();

    //设置起始和结束的rowkey,扫描结果是：[)类型

    scan.setStartRow("0001".getBytes());

    scan.setStopRow("0008".getBytes());

    ResultScanner scanner = myuser.getScanner(scan);

    for (Result result : scanner) {

      List<Cell> cells = result.listCells();

      for (Cell cell : cells) {

        String rowkey = Bytes.toString(cell.getRowArray(), cell.getRowOffset(), cell.getRowLength());

        //获取列族的名称

        String familyName = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());

        //获取列的名称

        String columnName = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());

        if (familyName.equals("f1") && columnName.equals("id") || columnName.equals("age")) {

          int value = Bytes.toInt(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());

         System.out.println("列族名： " + familyName + " ,列名： " + columnName + " ,列值：" + value);

        } else {

          String value = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());

          System.out.println("列族名： " + familyName + " ,列名： " + columnName + " ,列值：" + value);

        }

      }

    }

    //获取返回结果

    myuser.close();

  }

结果如下所示

img