Spark 高难度对话 SQL Server

Lenis

发布于 2019-12-25 11:54:44

4650

发布于 2019-12-25 11:54:44

文章被收录于专栏：有关SQL有关SQL

在我们欢天喜地迎接超级长假的时候，地球的另半面拉斯维加斯正在进行着一场超级火爆的 GIIS （Global Information Industry Summit）峰会。看名头，这是一场信息领域的全球峰会，峰会的少不了 DB-Engines 公布的前 300 名 SQL 以及 NoSQL ，耳熟能详的有 Oracle, SQL Server, MySQL, PostgreSQL, DB2, Redis 等等。而近来大红大紫的 big data 领军人物，Hadoop, Spark, Hive, Flink 等也是悉数到场。

自费参加峰会的 L，也是兴致勃勃，一改往日长假必远游的定律，来到拉斯维加斯。

奇怪的现场布置也是让 L 匪夷所思，巴洛克式的拉斯维加斯参会厅，足以容纳 20000 多家站台，今天却一切为二。

挂着红布的半边，是 Oracle, SQL Server 等商业巨头的阵营，各位负责人正装凛然，狗牌挂的一个比一个大，鼻子敲得一个高过一个。从他们飞扬的涂抹中，已然数据库的天下从来都是老子说了算。L 想靠近仔细看看各家的杀手锏，却被黑鬼保安拦了下来，一个大摆开的指着 Summit Introduction (入门须知)牌子，L 拿下他那因为长期熬夜写 SQL 而高度近视达 1200 度的镜片，俨然还能看清须知上红色标红的参会价格 $1100. 虽然对 SQL 几乎痴迷，但这几近半个月薪水的价格，还是让他垂下了高扬的头。

举兴而来，败兴而归。

L 转了身，无奈的走向了另一边。这一边，满盘皆绿，绿色的欢迎布，绿色的小旗子，全是 NoSQL 大佬。仔细瞅了瞅，门口的指示牌，标了 Free 四个字母！“这便宜赚大了”，L 一个箭步冲了进去。

Cloudera, Hortonworks 两位占据了大门两侧。瞧那几位绿色妹子，肤白腿直，烟熏妆一个比一个妖娆，L 不禁想起来去年泰国之旅，尤其在芭东过的那一夜，永世难忘。

不知不觉 L 遛过了只有在书中才见过的 Hive, Spark, Flink,Kylin, Redis, 还有正在研究的 Elastic, MongoDB , 和一堆尚未听说过的 Splunk, HAHA, Vertica, RocksDB.

虽然见不到熟知的 SQL Server 和 Oracle 大佬，但 big data 界的大佬都是见了个遍，也算没白花这个机票钱。L 逛得也累了，出来场子透透气，看到旁边的 Starbucks，顿时来了劲，早想尝一口美国正宗的星爸爸了，可不能错过。

刚嘬了两口的 L 再次来到绿色阵营门口，正好碰上 Spark 和 SQL Server 也出来透气，两人夹着烟，正你一句我一句的攀谈起来。

SQL Server: 小 S，听说你最近动作很大啊。

Spark : 大 S，哪有的事嘛。不过吃口饭而已。

说完，两人都失口大笑，L 看他们，觉得比兄弟还亲。

SQL Server: 兄弟，我们的很多老顾客说，你们很快。你说说，你们到底快在哪里了嘛？

Spark: 快是男人的必备技能，好吧。

SQL Server: 说正经的呢！

Spark: 你看看你们，都老了呢。不中用了吧。

SQL Server: 去，走了，聊不下去了。

Spark: 别嘛。来支笔，我给你画一下。

L 看着 Spark 在白墙上，慢慢画出了这幅草图：

image

SQL Server: 这也不能说明什么问题吧

Spark: 你仔细看。你家的分布式，顶多 8 台机，连着 Master 一起算，顶多9 台。那么这 9 台能否同一时间处理同一个数据集呢？肯定是不行的，对吧。因为这些机器之间的数据总是存在一定的延时窗口，同步的机器只能有 3 台，假定是 s1 状态，而另外几台机器都是存着 s0 的状态。而我们家的集群就不一样了，要几台有几台，分分钟上线 1000 台也是小事。如果将 10T同一状态 s1 的数据均分到这些集群的机器上，并且都存在内存中做计算，你想快，这还是事儿嘛？

SQL Server: 难怪我们的部分客户都开始动摇了

Spark: 再想一想，你们那 sql server 一核心 $15000, 人家 10 核心就被成本整死了，搭上 windows server 一核心 $6000, 贸易战啦，大家的钱都不好赚啊

SQL Server: 那你们的数据源来自哪里呢？把这些数据源均分到每台机器也不好算啊

Spark: 数据源都来自你们的库里啊。我们有 JDBC，均分那是细节问题，配置一下分区就可以了。老兄，我再给你画一张图，保你明白。