揭秘！“新硬件时代”下的 4 大数据发展趋势

导语 |  随着技术和数据业务的快速发展，新硬件不断迭代更新，使得成本和性能的均衡——降本提效成为可能。今天，我们特邀 英特尔数据库及大数据资深首席工程师、腾讯云 TVP 程从超老师 为我们带来《新硬件赋能创新——数据发展趋势》的解读，他将带我们了解整个数据处理架构的趋势，一起洞见 NoSQL 数字时代发展的新机遇。

作者简介

程从超，英特尔数据库及大数据资深首席工程师、腾讯云 TVP。先后供职于 Sybase、BEA、Oracle 和华为，有多年的数据库和大数据系统架构设计经验，尤其对计算、网络、存储等硬件和上层云平台，数据处理软件的无缝融合，充分发挥系统端到端的最佳性能有丰富的动手经验和独到见解。

引言

本文主要从数据处理技术发展的四大趋势来展开分享。第一是系统架构从 Scale  up 到 Scale  out。第二是处理平台从物理机到云原生。第三是存储架构从 share everything 到 share nothing 再到 share  everything。第四是内存数据库+对象存储，行存和列存并存。

数据处理架构的趋势，一是业务需求对我们数据架构的变化进行牵引，二是技术不断更新换代，对整个数据架构的处理也发挥了极大推动作用。

常言道“软件优化三年不如硬件革新一代”，虽有夸大但也有一定道理。过去的十年间，无论是计算、存储、网络，各方面的性能都发生了翻天覆地的变化，存储方面的提升尤为明显，甚至上万倍的提升。从过去机械硬盘每秒钟读写次数 50 到 300，到今天读写能到 180 万次每秒，这种巨大的提升，必然带动我们上层架构的变化来充分利用底层的硬件性能。

从Scale up到Scale out

从 Scale  up 到 Scale  out 是数据发展的趋势之一。过去经常用一台机器对整个业务进行处理，系统的内存在只有 16G 和 32G，底层都是机械盘，在这个状态下，为了充分利用我们的计算能力和存储能力，系统运行在单机上是有它的合理性的。

但是放眼今天，当我们一台 X86 的服务器处理器核数能到112，甚至更高，内存到了几个 T，甚至到 24T 的时候，我们上层的软件如何把底层的硬件能力都同时充分利用起来，其实一个比较大的难题。例如我们传统的 MySQL，实际上当你的 CPU核数到 32 以后，再往上升，它的性能便不再线性增涨了。一个极端的例子 Redis，我们一般按照核数启动实例。在当前云时代，我们知道 Scale  up 单节点无论怎么扩充自身都有一定极限，而且从经济上也不合理。

那么走向 Scale  out，我们有两点需要明确。第一点，并不意味着我们用越多机器性能就越好。首先把单节点的性能压榨到极致之后再 Scale  out，尽量在机器数少的情况下把任务完成，避免内耗。

第二点，我们单交易的处理时间并不是原来一笔交易响应时间是 1 秒钟，我们现在后台从一台机器扩展到五台机器之后，就能降低到 0.25 秒。事实上，我们的目标是，扩展之后能够支持 2 千个并发，甚至 2 万个并发，其响应时间仍然还是 1 秒，它支持的并发量大了，而不是单笔交易的性能改变，这是 Scale  up 到 Scale  out。

从物理机到云原生

从物理机到云原生是数据发展的第二大趋势。很多业界老师认为其中第一步是换平台，从物理机到虚拟机，实际上其性能是会略有下降的。但是通过架构改变，横向扩展，通过充分利用云平台上的各种资源，我们能够实现架构的灵活性。同时，横向扩展带来的性能也能够弥补单节点损失的性能。云原生时代，如何把底层云上的能力解决好，是我们值得考虑的问题。

从Share everything

到Share nothing

再到Share everything

数据存储从原来的 Share everything 到 Share nothing 再到 Share  everything 是第三大趋势。只要有交互就涉及到性能的内耗，所以最初通过 Share  everything的存储架构在各个节点之间进行数据同步，随着数据量的增加，不挪数据挪算法的理念逐渐流行，Share nothing 架构在 MPP DB 和 Hadoop 中逐步成为主流，随着资源池化，云平台普及，大数据上云，网络性能大幅度提升，计算和存储又走向分离，系统又走向 Share everything 架构。

内存数据库+对象存储、 行存和列存并存

内存数据库+对象存储是数据发展的趋势之一。在进行数据处理时，数据处理全部放在内存里，持久化时将全部数据存储到到底层的持久化介质上去，把原来的随机写全部变成顺序写，从而大幅度提升系统性能。

值得一提的是，行存和列存并存也是数据发展的趋势。当前我们很多的架构都在讲列式数据库，其实行存对交易系统是友好的，列存对过滤、压缩和加密等是友好的。每种存储方式都有自己的场景。

最后，我们从技术可行和经济可行角度来看，走到今天，我们把有“有状态”的信息都放在底层的存储上，上面的计算资源池全是“无状态”。针对某个特定目的来做的数据库可以把镜像留存下来，按需启动实例。在云时代，数据库若没人使用就不会产生实例，不会有资源消耗。例如，可以把开源上非常小众的数据库做成镜像，它没有实例就不会占用我们的计算存储资源，想用时直接启动实例拿来使用，这样可以保证我们小众的长尾在云时代生存下来。未来一定是业务牵引的，这一点我们将会逐步得到验证。

数据处理端到端、系统优化端到端成了其中至关重要的部分。伴随数据技术的蓬勃发展，新硬件的优化升级必将促使 NoSQL 迎来数字时代发展的新机遇。