Spark 高难度对话 SQL Server 后记

GIIS （Global Information Industry Summit）峰会已经结束一周了。

从拉斯维加斯回来的 L 却依然兴奋，被冷冰的 SQL Server , Oracle 门票价挫伤之后，阴差阳错进入了另一片广袤的技术天地。

对于技术宅，莫过激起他研究到底的雄心，而此时的大数据生态正好给了 L 一味兴奋剂，而且剂量不低于 500CC.

目睹了 Spark 与 SQL Server 之间亦友亦敌的对话之后，L 毅然决定深入去了解 big data 的整个生态链。

天天 捧着 300 多页的 Spark User Guide 在汇智中心的 Starbucks 啃。

V

类似的 Guide, L 捧回来很多，装满十字徽章电脑包。 不幸的是在浦东国际机场下飞机时，背带断了一根。

L 想都没想，拿起给媳妇儿带的菲拉格慕大耳朵包，直接塞满。

“破包就是娇气，塞完 Hive 就鼓鼓囊囊了，还特么 2000 美金，200 块都比它耐用”

L 没想到的是，媳妇儿看到念叨了 1 年的菲拉格慕后，让他坐了一上午的仙人球，直到晚饭时，才把刺儿拔完。

V

连续几天， L 都没怎么睡好觉了，只是对 L 来说，现在没有什么比看完一沓足足有马克杯那样高的资料来的更重要。

所以平时休闲喝的热焦马，也变成加了 2 份 shot 咖啡的热美式。指尖快速在新买的 12.9 寸的 iPad Pro 上敲打，速充在一旁随时候命。

“ Spark 其实也是个半吊子的实时计算引擎，采用微批次，缩短 ETL 间隔时间，加载数据到内存来完成分布式计算”

“而且，Spark SQL 的威力要发挥，还是基于空间换时间的策略，先在 Hive 上把数据预装载，分区得当，接着用 Spark SQL 的 Hive 适配器，读取数据”

“嗯，最佳实践一定是这样.....”

L 嘬了一口美式，一声短叹之后，拿起 iPad Pencil 在屏幕上画了张草图：

“有了这张图，以后再回顾就方便啦”

直到 L 改满意了， 喝完最后一滴美式，拿起媳妇儿给他缝好的十字徽章电脑包，径直走向 X 投资大厦。

在 L 快速挪动的步伐中，他早已想好了下一个研究对象，那就是 Spark SQL 的前道工序，Hive.

“ 我应该把 Hive 搭建起来，再玩 Spark SQL. 单机 Spark 实在太玩具了。”