前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >数据中台各环节处理概要

数据中台各环节处理概要

作者头像
码客说
发布2023-03-16 14:00:36
2210
发布2023-03-16 14:00:36
举报
文章被收录于专栏:码客

前言

目前数据中台支持了如下操作

  • 数据抽取
  • 数据转换
  • 数据清理
  • 数据转服务

数据抽取

数据抽取环节要注意

  • 字段匹配
  • 字段类型转换匹配
  • 不同数据源数据类型的映射
  • 添加常量

数据转换

  • 字段匹配
  • 字段类型转换匹配
  • 常量
  • 转换算法

数据清理

  • 字段匹配
  • 字段类型转换匹配
  • 约束规则
  • 处理方法

Hive中的所有字段都是小写,可以把配置中的字段都改为小写。

数据转服务

  • 字段匹配
  • 字段类型转换匹配
  • 处理方法
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-03-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 数据抽取
  • 数据转换
  • 数据清理
  • 数据转服务
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档