大数据和云计算技术周报（第134期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：Spark、Mysql、MongoDB、计算机视觉、NLP、Mysql、存储。全是干货，希望大家喜欢！！！

1SPARK

本文主要对Spark读取HBase Snapshort表进行了相关优化，剖析了部分源码，对部分源码进行了重写与改造，最终实现了HBase表的高效率读

https://blog.csdn.net/u012477420/article/details/94324932

2存储

X-Engine采用了LSM-tree架构，同时广泛针对现代多核，大内存，高速存储的服务器进行了优化，例如其内部大量采用无锁设计，具有良好的扩展性。

https://mp.weixin.qq.com/s/B4M3PbEnuyy6z4Qc-cqhhQ

3分布式数据库选择

随着互联网金融业态不断的发展，数据的交互和存储也呈现指数级增长，在此形势下，在分布式数据库的选型上，根据不同的业务场景和关键系统中选择不同的开源产品，通过对开源数据库的深入研究和应用，满足了企业业务场景的事务处理和数据处理的要求。

https://mp.weixin.qq.com/s/lvw-UPpUJqV3ZUhUUUJ-Bg

4MR

本文将分享eBay团队如何对这些Hadoop job进行优化，希望为开发者带来启发，解决Hadoop MapReduce（MR）job实践中存在的问题。

https://mp.weixin.qq.com/s/DJJkRO5h2RAaeXGjIBY7ng

5Mysql

本文深入讲解Mysql索引底层数据结构

https://mp.weixin.qq.com/s/wUOviq07VGdJa-OonYSD_w

6MongoDB

本文讲述了利用AWS DMS将MongoDB 4.0数据平滑迁移到Amazon Aurora MySQL的过程，并演示AWS DMS近乎实时复制MongoDB 4.0数据到Aurora MySQL的兼容版表中例子；

https://www.mongochina.com/article/569.html

7Spark

本文讲解了八种解决 Spark 数据倾斜的方法。

https://mp.weixin.qq.com/s/piW10KGJVgaSB_i72OVntA

8计算机视觉

「扫一扫识物」 的背后技术揭秘

https://mp.weixin.qq.com/s/5mG8dI1oHo0ucGK5ceWydQ

9NLP

feed 流中遇到的 NLP 问题和解决思路

https://mp.weixin.qq.com/s/T2Nv7dQvZR6sVht1LfKSlw

11开心一刻

程序猿跟产品经理一起看电视。每个节目看到一半程序猿就换台，看到一半就换台，几次之后产品经理终于忍无可忍的咆哮：老子刚看出点意思你就换、刚看出点意思你就换，到底还让不让人看啦？！程序猿淡定的盯着电视道：你半路改需求的时候我可没吱过声！

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞