HBase 离线单表读取节点配置
参数 | 说明 |
数据源 | 可用的 HBase 数据源 |
命名空间 | 选择该数据源下可用的空间 |
表 | 支持选择、或者手动输入需读取的表名称 |
读取模式 | 仅支持横表读取模式, 将 Hbase 表当成普通二维表(横表)进行读取,读取最新版本数据 |
HBase 离线单表写入节点配置
参数 | 说明 |
数据源 | 需要写入的 HBase 数据源。 |
命名空间 | 支持选择、或者手动输入需写入的空间。 |
表 | 支持选择、或者手动输入需写入的表名称: 当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
写入列 | HBase 支持两种方式写入列: 固定列(指定列族与列名称)。 动态列(列族与列名随来源字段值变化),需要手动配置列内容、列族连接符、列名连接符和 value 连接符(可选:' \\u001 ' 、 ' | ' 、 ' :' 、 ' , ' )。 |
值版本号 | 指定写入 HBase 的时间戳。支持当前时间、指定时间列或指定时间 (三者选一),如果不配置则表示用当前时间: index:指定对应 Reader 端 column 的索引,从0开始,需保证能转换为 LONG。 type:如果是 Date 类型,会尝试用 yyyy-MM-dd HH:mm:ss 和 yyyy-MM-dd HH:mm:ssSss 解析。如果是指定时间,则index为-1。 value:指定时间的值,LONG 类型。 |
数据类型转换支持
读取
HBase 读取支持的数据类型及转换对应关系如下(在处理 HBase 时,会先将 HBase 数据源的数据类型和数据处理引擎的数据类型做映射):
HBase 数据类型 | 内部类型 |
int, short ,long | Long |
float, double | Double |
string,binary string | String |
date | Date |
boolean | Boolean |
写入
HBase 读取支持的数据类型及转换对应关系如下:
内部类型 | HBase 数据类型 |
Long | int, short ,long |
Double | float, double |
String | string,binary string |
Date | date |
Boolean | boolean |