资源 | 数据工程师的衣柜,资源之家

大数据文摘出品

编译:CoolBoy

今天,文摘菌要给大家介绍一个数据工程(注:非数据分析)资源超级大列表,你想找的全部在这儿~(Github链接见文末)

这个资料集是由区块链公司POA Network的技术负责人Igor Barinov所制作的。资源本身并没有代码之类的内容,而是为大家总结了数据工程上必要工具的链接,包含了从数据库到并行处理,再到数据集等一系列内容。每一项分类下都有清楚的链接和简介。

这个资源集的目录如下:

着实是很全面的一个列表,从事数据工程的同学应该很熟悉。

这个列表的内容有多详细呢?我们可以看一下关系数据库(relational database)的例子来窥斑见豹:

可以看到,仅仅是关系数据库这一项,作者就总结出了一份很齐全的工具列表,包括了MySQL、PostgreSQL等大家熟悉的工具,也有其它稍微陌生一点的名字。而MySQL下面也附着了基于MySQL协议的相关工具。

在整个数据库(Databases)的大板块下,其他的数据库模型(Key-Value、Column、Document、Graph、Distributed、Timeseries、Others)也被如此详细地总结出来。其他的大板块亦是如此。

此外,列表的最后还有一个社区的板块,包含了论坛、会议和Podcast的链接:

有没有厉害的同学要给这个列表进行补充呢?

Github链接:

https://github.com/igorbarinov/awesome-data-engineering

【今日机器学习概念】

Have a Great Definition

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Seebug漏洞平台

Sebug 大牛支招之我是如何在Sebug中杀入前10的?

大家好我是koshell,ID:k0sh1, 在之前的文章中我分享了在web漏洞挖掘中的一些小技巧,这里要补充一下。 注入其实只是众多web入侵手段中的一种,脱...

39370
来自专栏后端技术探索

如何解决秒杀的性能问题和超卖的讨论

最近业务试水电商,接了一个秒杀的活。之前经常看到淘宝的同行们讨论秒杀,讨论电商,这次终于轮到我们自己理论结合实际一次了。

28010
来自专栏养码场

工作还是游戏?程序员:我选择边玩游戏边工作!

一方面体现在“数据”构造上仍有广阔的待开发空间,另一方面则是应用场景,除了做客观评价和“讲故事”,还需打通更多的商业模式。

8510
来自专栏美团技术团队

互联网企业安全之端口监控

背景 外网端口监控系统是整个安全体系中非常重要的一环,它就像眼睛一样,时刻监控外网端口开放情况,并且在发现高危端口时能够及时提醒安全、运维人员做出相应处理。 对...

589150
来自专栏Debian社区

Chrome浏览器中新增反恶意软件广告功能

谷歌宣布在Chrome浏览器中新增三个安全功能,阻止网站在未经用户或网站所有人同意的情况下悄悄将用户重定向至新的网址。

13220
来自专栏Android 开发者

Android 模拟器现已支持 AMD 处理器和 Hyper-V

自两年前谷歌对 Android 模拟器进行重大更新以来,我们一直致力于开发出一款运行速度快、功能全面的模拟器,帮助您为用户打造卓越应用体验。Android 模拟...

29010
来自专栏python学习指南

python爬虫(一)_爬虫原理和数据抓取

本篇将开始介绍Python原理,更多内容请参考:Python学习指南 为什么要做爬虫 著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经...

48760
来自专栏SEO

「改版」网站改版SEO清单:不要丢失流量

33060
来自专栏陈满iOS

iOS面试经验总结(某PA金融科技篇)

也许面试官自己也没自己实现过,毕竟有些东西苹果为什么这样设计,若不是苹果公司的工程师无法知道。

13930
来自专栏Coding01

「转」论微服务架构

微服务现在辣么火,业界流行的对比的却都是所谓的Monolithic单体应用,而大量的系统在十几年前都是已经是分布式系统了,那么微服务作为新的理念和原来的分布式系...

12740

扫码关注云+社区

领取腾讯云代金券