Mongo 数据源

最近更新时间:2024-05-22 10:53:02

我的收藏

Mongo 离线单表读取节点配置




参数
说明
数据来源
可用的 Mongo 数据源。
支持选择、或者手动输入需读取的库名称
默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。
当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。
集合
支持选择、或者手动输入需读取的集合。
分割符
当字段为数组类型时,使用分割符拼接数组内容。
筛选条件(选填)
根据数据类型填写对应筛选语句,该语句会作为将要同步数据的筛选条件。
高级设置(选填)
可根据业务需求配置参数。

Mongo 离线单表写入节点配置




参数
说明
数据去向
选择当前项目中可用的 Mongodb 数据源。
支持选择、或者手动输入需读取的库名称
默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。
当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。
集合
支持选择、或者手动输入需读取的集合。
写入模式
表示写入数据时,是否针对相同的主键覆盖写入。默认使用 _id 每行记录的业务主键
前置语句
选填,表示数据同步写入 MongoDB 前的前置操作,请确保前置语句符合 JSON 语句要求,如{"type": "remove"}
高级设置(选填)
可根据业务需求配置参数。

数据类型转换支持

读取

Mongo 读取支持的数据类型及转换对应关系如下(在处理 Mongo 时,会先将 Mongo 数据源的数据类型和数据处理引擎的数据类型做映射):
Mongo 数据类型
内部类型
int, Long
Long
double
Double
string, array
String
date
Date
boolean
Boolean
bytes
Bytes

写入

Mongo 读取支持的数据类型及转换对应关系如下:
内部类型
Mongo 数据类型
Long
int, Long
Double
double
String
string, array
Date
date
Boolean
boolean
Bytes
bytes