前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >让流动的数据结构化

让流动的数据结构化

作者头像
用户2936994
发布2018-08-27 10:49:56
4910
发布2018-08-27 10:49:56
举报
文章被收录于专栏:祝威廉祝威廉

结构化数据加上一个支持schema变更的存储,加上一个高效易用的支持SQL的数据处理和查询的引擎,简直无所不能和极度高效。

阿里云的数据流变换和机器学习的web化 都依赖于Odps结构化支持。

任何数据都是可以结构化的,极端情况是可以把数据映射成只有一个字段的表

为了实现这一点,譬如将HDFS的任意文件映射成只有一个字段的表,然后通过SQL解析转换成多个字段输出到一张新表,接着再在新表做查询统计或者输出到特定存储中

转化为结构化后  可以有效加快数据的流动  并且提高效率  使得各个环节更加抽象通用

现在准备集成机器学习工具库到StreamingPro中,实现简单配置即可完成数据转换,模型训练,数据预测

让你流动的数据结构化吧

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016.07.26 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档