大数据和云计算技术周报(第76期)

大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:MongoDB、spark 、Flink、数据处理、ETL、知识图谱、Hbase、数据连接池、Redis 。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。

特别提醒,文末有惊喜!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。(如果链接不能点开 请用二维码 谢谢)

Flink

通过使用实时数仓代替原有流程,将数据生产中的各个流程抽象到实时数仓的各层当中。实现了全部实时数据应用的数据源统一,保证了应用数据指标、维度的口径的一致。在几次数据口径发生修改的场景中,我们通过对仓库明细和汇总进行改造,在完全不用修改应用代码的情况下就完成全部应用的口径切换。在开发过程中通过严格的把控数据分层、主题域划分、内容组织标准规范和命名规则。使数据开发的链路更为清晰,减少了代码的耦合。再配合上使用 Flink SQL 进行开发,代码加简洁。单个作业的代码量从平均 300+ 行的 Java 代码 ,缩减到几十行的 SQL 脚本。项目的开发时长也大幅减短,一人日开发多个实时数据指标情况也不少见

https://mp.weixin.qq.com/s/PJmdXkdUE5gtzcYAgAM8wQ

2

Hbase

2.0的小对象值得看一下

https://mp.weixin.qq.com/s/3Bhwn-019LcpkuUxNAfkAw

3

MongoDB

本文讲述了MongoDB+Spark完整的大数据解决方案,并对比Spark+HDFS生态系统和Spark+MongoDB生态系统,MongoDB和HDFS差异点,以及Spark+MongoDB的成功案例;

https://www.cnblogs.com/hanson1/p/7105288.html

4

ETL

在大数据平台,随着业务发展,每天承载着成千上万的 ETL 任务调度,这些任务的形态各种各样。怎么样让大量的 ETL 任务准确的完成调度而不出现问题,来自苏宁大数据离线任务开发调度平台实践

给了我们答案。

https://mp.weixin.qq.com/s/JldOezubf5qW1YuFxJuWvQ

5

数据处理

亿级PV,常见性能优化策略总结与真实案例

hhttps://mp.weixin.qq.com/s/rpSMOieVEQ9r3f55WlvkLQ

6

搜索

本文主要介绍搜索算法团队在58搜索列表上的连接效率优化实践

https://mp.weixin.qq.com/s/5G9opZHkkvYuiHI2FDfyEQ

7

知识图谱

美团 AI 平台部 NLP 中心负责人、大众点评搜索智能中心负责人王仲远博士受邀在 AI 科技大本营做了一期线上分享,为大家讲解了美团大脑的设计思路、构建过程、目前面临的挑战,以及在美团点评中的具体应用与实践,其内容整理如下

https://mp.weixin.qq.com/s/u7mvxrvudKmjX4KeGtBiWA

8

Hbase

本文是范大神关于如何高效系统的学习一门技术的个人总结,觉得非常到位,分享给大家。

https://mp.weixin.qq.com/s/3Bhwn-019LcpkuUxNAfkAw

9

Redis

我们天天都在使用 Redis 内置的命令行工具 redis-cli,久而久之以为它就是一个简单的交互式 Redis 数据结构手工操作程序,但是它背后强大的功能绝大多数同学可能闻所未闻。本节我们一起来挖掘这些鲜为人知的有趣用法。

https://mp.weixin.qq.com/s/O6BpebOqwJpd-7A5YbQ_5w

10

数据库连接池

数据库连接池在Java数据库相关中间件产品群中,应该算是底层最基础的一类产品,作为企业应用开发必不可少的组件。(这周写了个小工程模拟监控数据的插入,以及模拟ttl,因为是模拟所以用了mysql,当然理论上不应该用关系数据库做这个。随便用了个c3p0的连接池,无论如何调参数,多线程下,数据库经常死锁或者连接不能很好释放,然后就查了几篇文章,换了阿里的druid,性能果然好了很多。所以把这个简介分享一下)

https://mp.weixin.qq.com/s/Ng_7yUY-acbuIF88YIGjsg

11

开心一刻

"你每天的工作就是摁电脑啊?" ---一亲戚这样问我。 "嗯." ---我回答。

后来这亲戚又问我:"你一个摁电脑的怎么这么能挣钱呢?”

某天,我被这亲戚鄙视了:“你摁电脑的速度都不如我快!”

又某天,我问女儿:“你知道爸爸是做什么的?” 她回答:“摁电脑的。”

致谢:

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、

本文分享自微信公众号 - 大数据和云计算技术(jiezhu2007)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏vue学习

43、MongoDB基本概念及数据库操作

(1)首先,我们得知道mongodb是一种非关系型数据库,与我们平常所了解到的mysql等数据库是有不同的,具体的理论我就不多说了,我给个链接大家可以自行去了解...

11120
来自专栏vue学习

41、MongoDB入门及环境搭建

(1)MongoDB数据库下载完了以后,我们还需要配置mongodb和数据存放的位置;所以我们在任意位置新建三个文件夹(我的是在D盘下面)

8720
来自专栏vue学习

42、MongoDB配置

(2)其它两个文件夹上章我们说过了,中间这个文件夹中我们新建一个mongo.conf用于配置mongodb;配置它的目的就是以后我们启动数据库不用再去"--db...

16830
来自专栏vue学习

45、MongoDB—增、删、改、查

我们这里新建一个user集合(表),然后插入一条id为1,name为Ewall的数据行。

11520
来自专栏vue学习

48、mongoose入门

现在假设我们想把看到的每一只猫都用数据库给记录下来,即每只猫都是一条document(数据行)。

13420
来自专栏有困难要上,没有困难创造困难也要上!

在Docker中使用mongodb数据库

mongo-express是MongoDB的一个可视化图形管理工具,这里我们还是通过docker来运行一个mongo-express,来管理上面创建的mongo...

11610
来自专栏vue学习

40、个人中心页面

16820
来自专栏Python专栏

毛衣大战,殃及池鱼,亡羊补牢,尚可一试。

别看「趣头条」上市那天串的多高,典型的“新秀即巅峰”。阿里巴巴下跌倒是意料之内的,我瞎感觉,还得下沉,为什么?因为阿里巴巴从美国退出来了,别人能待见你么……

20120
来自专栏web前端教室

《vue+vant+node+mongoDB+koa2》电商项目实战连载(2)

https://youzan.github.io/vant/#/zh-CN/intro,

19130
来自专栏vue学习

44、MongoDB集合操作

(1)大家首先要知道,MongoDB中集合的概念也就是我们一般在mysql中所说的表,如何创建一个集合呢?如下:

12730

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励