HBase配置AES加密

create17

发布于 2019-05-06 14:51:14

4K1

发布于 2019-05-06 14:51:14

文章被收录于专栏：大数据实战演练大数据实战演练

每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。

放弃不难，但坚持很酷~

版本： HDP：3.0.1.0 HBase：2.0.0

一、前言

为了避免第三方非法访问我们的重要数据，我们可以给HBase配置加密算法，目前HBase只支持使用aes加密算法，用于保护静态的HFile和WAL数据。

HBase配置的AES加密是一种端到端的加密模式，其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密，当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询，只有经过认证的客户端才能查看解密内容。

详情可以参考HBase官方文档：

http://hbase.apache.org/book.html#hbase.encryption.server

二、AES算法简介

这里只是对AES算法的一个简单说明。

AES是一个对称加密算法，如下图所示:

下面简单介绍下各个部分的作用与意义：

密钥K

用来加密明文的密码，在对称加密算法中，加密与解密的密钥是相同的。密钥为接收方与发送方协商产生，但不可以直接在网络上传输，否则会导致密钥泄漏，通常是通过非对称加密算法加密密钥，然后再通过网络传输给对方,实际中，一般是通过RSA加密AES的密钥，传输到接收方，接收方解密得到AES密钥，然后发送方和接收方用AES密钥来通信。

密钥是绝对不可以泄漏的，否则会被攻击者还原密文，窃取机密数据。

AES加密函数

设AES加密函数为E，则 C = E(K, P),其中P为明文，K为密钥，C为密文。也就是说，把明文P和密钥K作为加密函数的参数输入，则加密函数E会输出密文C。

AES解密函数

设AES解密函数为D，则 P = D(K, C),其中C为密文，K为密钥，P为明文。也就是说，把密文C和密钥K作为解密函数的参数输入，则解密函数会输出明文P。

三、配置步骤

接下来主要介绍需要在hbase-site.xml文件内增加哪些配置。最后通过ambari页面将自定义配置加到hbase-site.xml中。分为以下几步：

使用keytool实用程序为AES加密创建适当长度的密钥。 cd /usr/hdp/3.0.1.0-187/hbase/conf/ # 生成hbase.jks keytool -keystore hbase.jks -storetype jceks -storepass admin123 -genseckey -keyalg AES -keysize 128 -alias hbase hbase.jks：表示生成的jks文件存储路径。

admin123：代表存储的密码。AES：表示加密的类型，目前仅支持AES。128：表示密钥的长度，AES支持128位长度。hbase：为密钥文件的别名。

在密钥文件上设置适当的权限，并将其分发给所有HBase服务器。上一个命令在/usr/hdp/3.0.1.0-187/hbase/conf/目录下创建了一个名为hbase.jks的文件。设置此文件的权限和所有权，以便只有HBase服务帐户用户可以读取该文件，并将密钥安全地分发给所有HBase服务器。 # 在每台机器上执行以下命令： cd /usr/hdp/3.0.1.0-187/hbase/conf chmod 600 hbase.jks chown hbase:hadoop hbase.jks # 通过scp命令将文件传输到各节点的指定位置 scp -r hbase.jks root@xxx:/usr/hdp/3.0.1.0-187/hbase/conf # 拷贝完成后，也需要设置文件的相关权限，600。
配置HBase daemons 在集群的hbase-site.xml中设置以下属性，配置HBase守护程序以使用由KeyStore文件支持的密钥提供程序或检索集群主密钥。在下面的示例中，admin123为密码，可自定义。 # 自定义hbase-site： hbase.crypto.keyprovider=org.apache.hadoop.hbase.io.crypto.KeyStoreKeyProvider hbase.crypto.keyprovider.parameters=jceks:///usr/hdp/3.0.1.0-187/hbase/conf/hbase.jks?password=admin123 默认情况下，HBase服务帐户名称将用于解析群集主密钥。但是，您可以使用任意别名（在keytool命令中）存储它。在这种情况下，请将以下属性设置为您使用的别名。 # 自定义hbase-site： hbase.crypto.master.key.name=hbase 您还需要确保您的HFile使用HFile v3，以便使用透明加密。这是HBase 1.0以后的默认配置。对于以前的版本，请在hbase-site.xml文件中设置以下属性。 # 自定义hbase-site： hfile.format.version=3
配置Configure WAL encryption 通过设置以下属性，在每个RegionServer的hbase-site.xml中配置WAL加密。您也可以将这些包含在HMaster的hbase-site.xml中，但是HMaster没有WAL并且不会使用它们。 # 自定义hbase-site： hbase.regionserver.hlog.reader.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogReader hbase.regionserver.hlog.writer.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogWriter hbase.regionserver.wal.encryption=true
配置hbase-site.xml文件的权限。由于密钥库密码存储在hbase-site.xml中，因此需要确保只有HBase用户可以使用文件所有权和权限读取hbase-site.xml文件。 chmod -R 600 hbase-site.xml
将上述配置添加到自定义hbase-site中，重启HBase服务。

创建加密类型为AES的表 格式：create '<table name>', {NAME => '<column family name>', ENCRYPTION => 'AES'} create 'hbase_1102', {NAME=>'cf1', ENCRYPTION => 'AES'}, {NAME=>'cf2'} put'hbase_1102', '001','cf1:name','Tom' put'hbase_1102', '001','cf1:gender','man' put'hbase_1102', '001','cf2:chinese','90' put'hbase_1102', '001','cf2:math','91' put 'hbase_1102', '001','cf2:math','91', 1557566858555 # 删除hbase的一条数据 delete 'hbase_1102', '001', 'cf2:math' # 根据时间戳来获取数据 get 'hbase_1102','001',{COLUMN=>'cf2:math',TIMESTAMP=>1555768605232}