大数据和云计算技术周报（第60期)

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：HBase、ECS、图像识别 、MongDB、redis 、tensorflow 、hive、数据治理、大数据平台实践。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１

HBase

hbase测试工具，值得了解下

https://mp.weixin.qq.com/s/8QHfcUg3B13cL3xgRvGxtg

2

ECS

在今天的趣头条，随着业务需求的快速增长，部署与扩容的需求也越来越多，为更快的响应业务需求，业务容器化也随之加速。本次分享主要介绍在此业务场景下，部署在ECS的服务如何进行容器化的快速接入，使用基于Pipeline的Jenkins实现流程控制及部署，并动态的适配多环境与多集群。

3

HBASE

HBase隶属于hadoop生态系统，它参考了谷歌的BigTable建模，实现的编程语言为 Java, 建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据，主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

https://www.cnblogs.com/tgzhu/p/5857035.html

4

图像识别

图像智能审核一般是指利用图像处理与机器学习相关技术识别图像内容，进而甄别图像是否违规。图像智能审核旨在建立图片自动审核服务，由机器自动禁止不符合规定（负例）的图片类型，自动通过符合规定（正例）的图片类型，机器不确定的图片交由人工审核。因此，衡量智能审核系统性能的指标主要是准确率和自动化率。本文详细介绍了如何基于深度学习实现图像的智能审核？

https://tech.meituan.com/deep_learning_image_recognition.html

5

redis

本文剖析了redis缓存更新策略、对每种策略进行缺点分析、针对缺点给出改进的方案

https://blog.csdn.net/hjm4702192/article/details/80518922

6

MongoDB

本文讲述MongoDB 4.0事务Python实现和Java实现，Session在多文档事务中的作用，

MongoDB 4.0的ACID以及事务与复制、存储引擎、缓存的关系。

http://www.mongoing.com/%3Fp%3D6084

7

tensorflow

这篇文章给出了tensorflow构建神经网络中的几种优化策略，大概总结了一下，主要用来解决一般剃度下降中迭代慢，过渡拟合以及陷入局部最小等问题。

https://mp.weixin.qq.com/s/eU6053m6O1HuzLu8vqWDcA

8

hive

Hive在作为数据仓库的重要工具，其内在封装的函数如果利用好了，会比写spark和mapreduce方便的多，但是随之而来也是各种问题，比如数据倾斜，小文件处理等，下边介绍一些运行HQL时的设置参数，以此达到一定程度上的优化。

8

hive

Hive在作为数据仓库的重要工具，其内在封装的函数如果利用好了，会比写spark和mapreduce方便的多，但是随之而来也是各种问题，比如数据倾斜，小文件处理等，下边介绍一些运行HQL时的设置参数，以此达到一定程度上的优化。

9

数据治理

本文主要讲解面向人工智能的数据治理工作关于基础信息系统的建设.

https://mp.weixin.qq.com/s/Gz0rJ65CetOkLyoaNm110Q

10

大数据平台实践

网易大数据平台实践，遇到的问题，以及技术选型都给出了解决方案，让你在构建大数据少走弯路。

https://mp.weixin.qq.com/s/EgoG6qWMUeJUrmlCznH1vg

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、