前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2021-01-13:很多列的数据,任意一列组合查询,mysql....

2021-01-13:很多列的数据,任意一列组合查询,mysql....

原创
作者头像
福大大架构师每日一题
修改2021-01-14 10:22:48
2.8K0
修改2021-01-14 10:22:48
举报

2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗?

福哥答案2021-01-13:

答案来自此链接:

数据库存储设计一般分为行存储还有列存储。行存储一般每一行的数据通过主键聚簇索引存储在一起,列存储一般每一列的数据存储在一起。问题中说的任意一列组合查询,针对上亿的数据量,最好采用基于列存储的 OLAP 场景业务的解决方案。但是 MySQL 原生是不支持列存储引擎的,因为 MySQL 的各种接口抽象以及优化器基本都是基于行存储设计的,用列存储思路实现存储引擎会很别扭,一般不会这么做。

大部分业务列存储基本会从 Hbase 或者 Hive 这样的基于 Hadoop 的存储中选择。Hbase 主要面对实时数据查询, Hive 主要面向离线 SQL 分析。

导入数据一般可以通过原生工具拉取 binlog 同步,或者用 sqoop 这样的 ETL 工具进行导入。

还有像 TIDB 这样的本身支持 OLTP + OLAP 业务的存储数据库,省去了用户需要用不同存储面对不同场景的麻烦。TiDB 是一款分布式 HTAP 数据库,它目前有两种存储节点,分别是 TiKV 和 TiFlash。TiKV 采用了行式存储,更适合 TP 类型的业务;而 TiFlash 采用列式存储,擅长 AP 类型的业务。

你这个是即席查询,也就是列随意组合。建议看列存MPP数据库,比如GBase 8a, GP等。

大数据量专注搜索可以考虑Elastic Search(ES)。


2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数...如何回答呢?

2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗?

评论

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档