应用计算

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。

SPL轻量级文件存储提速查询实践

应用程序可能要基于不同数据库工作，各种数据库的 SQL 语法大体一致，但仍有些差别，结果就要改造这些 SQL，而这事通常只能手工调整，工作量大还容易出错。

SQL 移植--SPL 轻量级多源混算实践 7

车辆管理系统（DB_Vehicle）保存了车辆与车主等相关信息，其中车主信息表 owner_info 表结构简化如下：

跨库 JOIN---SPL 轻量级多源混算实践 6

相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同的接口 / 函数）。

跨库 Union，比对--SPL 轻量级多源混算实践 5

除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。

查询 MongoDB--SPL 轻量级多源混算实践 4

Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。

查询 Restful/JSON 数据--SPL 轻量级多源混算实践 3

A1：读入 CSV，T() 函数会根据文件扩展名读出文件内容，返回成序表全部加载到内存

查询 csv/xls 等文件--SPL 轻量级多源混算实践 2

RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都可以使用 SPL 来完成。

在 RDB 上跑 SQL----SPL 轻量级多源混算实践 1

多样性数据源混合计算是常态需求，同构或异构数据库之间、文件与数据库、NoSQL 与文件等，理论上任何数据存储之间都涉及数据混合计算和分析。但混算目前技术解决的并不好，同构库之间某些数据库还能支持，而完全异构的数据源实施混算就比较麻烦。逻辑数据仓库可以一定程度上实现多源混算，由于逻辑数仓大部分是基于 SQL 的，RDB 数据源可以通过表映射访问。但其他类型的数据源就比较困难，需要借助复杂的数据虚拟化技术，还只能部分实现。而且，逻辑数仓体系过于沉重，它经常会比应用本身还复杂，只适合应用于大型场景中。

SPL 轻量级多源混算实践

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了应用计算专栏，为你提供了应用计算的相关文章，致力于帮助开发者快速成长与发展。

应用计算-腾讯云开发者社区

应用计算

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐