腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据文摘

专栏作者

5572

文章

4004930

阅读量

253

订阅数

半壁互联网江山都中招！开源软件被曝“十年最重大漏洞”，维护人竟只有3名志愿者

网络安全安全 apache 开源 javascript

就在前两天，全球知名开源日志组件Apache开源项目Log4j远程代码执行漏洞细节被公开。

大数据文摘

2021-12-15

6690

技术天才、无人驾驶元老承认窃取谷歌机密给Uber！面临2年监禁

apache 自动驾驶无人驾驶 https 网络安全

上周，硅谷顶尖自动驾驶技术工程师、前谷歌高管Anthony Levandowski承认了他此前从谷歌窃取了关于自动驾驶技术的商业机密。

大数据文摘

2020-04-01

3200

访谈：Airbnb数据流程框架Airflow与数据工程学的未来

大数据 apache

大数据文摘作品，转载具体要求见文末编译团队 | 赖小娟卫青寒小阳 Airflow是Airbnb数据流程框架，本文接受访谈的是该工具的研发者，Tylor E.Edmiston增加了介绍和后记。简介我时不时会对一些看过的关于未来科技的帖子产生共鸣。就在几周前让我产生共鸣的是Airbnb数据工程师，公司数据流程框架工具Airflow的研发者MaximeBeauchemin的一篇文章《数据工程师的崛起》（ The Rise of the Data Engineer）。在天文学者公司（Astronomer

大数据文摘

2018-05-25

1.3K0

欧洲核子研究组织如何预测新的流行数据集？

大数据 apache spark

作者：Siddha Ganju ◆ ◆ ◆ 前言去年夏天，我曾在日内瓦的欧洲核子研究组织（CERN）暑期开放实验室实习。我工作的重点是为CERN的大数据分析来探索Apache Spark的MLlib框架。（备注：Apache Spark在世界最先进的核子研究组织中被认为是有潜力的大数据分析框架）在CERN，一个主要的实验项目是CMS（世界上最大的粒子物理探测器之一），通过它可以帮助我们对亚原子有更好的理解。实验是在CERN的大型强子对撞击（LHC）上进行的。LHC是一个粒子加速器，可以把亚原子粒子推送到

大数据文摘

2018-05-25

5560

巨无霸们的数据架构大比拼：Facebook Amazon NetFlix Airbnb的海量数据如何记录分析

人工智能大数据数据分析 apache

大数据文摘作品，转载要求见文末作者 | Michelle Wetzler 编译 | 璐、颖子全球最好的数据架构长什么样？我们认为使用事件数据的公司会有很强的竞争优势。这一点在世界领先的科技公司中似乎都得到了证明。脸书、亚马逊、Airbnb,Pinterest和Netflix公司的数据工程师团队一直令人称奇。他们的工作为软件和商务的认知设定了新准则。因为他们的产品被广泛的使用，这些团队必须不断重新定义大规模数据分析。他们在数据架构上已经投入数以百万计的资金，并且拥有比大多数公司的整个工程部门人数还多

大数据文摘

2018-05-24

1K0

日处理数亿次请求的工作推荐引擎是如何演化的？

apache 编程算法机器学习搜索引擎

导读：Indeed.com 每个月有两亿不同的访客，有每天处理数亿次请求的推荐引擎。在这篇文章里，我们将描述我们的推荐引擎是如何演化的，如何从最初的基于Apache Mahout建立的最简化可用行产品，到一个在线离线混合的成熟产品管道。我们将探索这些变化对产品性能指标的影响，以及我们是如何通过使用算法、架构和模型格式的增量修改来解决这些挑战的。进一步，我们将回顾在系统设计中的一些相关经验，相信可以适用于任何高流量的机器学习应用中。 ◆ ◆ ◆ 从搜索引擎到推荐 Indeed的产品运行在世界各地的许多数据中心

大数据文摘

2018-05-22

8170

Hadoop如何通过IT审计(下)？

hadoop 大数据 apache

内容： 1. 决策摘要 2. IT和企业风险环境 3. 越来越多的IT规范 4. Hadoop的职能 a. 安全 b. 灾难恢复和业务连续性 c. 资料管理：监督和法律要求 5. 额外要求 6. 关键要点接上文：在企业IT中，与植根于存储环境的企业数据管理相关的风险控制和法规遵从是非常普遍的。在该情况下，一些基本功能可以直接应用于数据之上。这些基本功能包括： 1. 数据保护。在主要存储设备或更多得是在二级存储设备上创建并维护备

大数据文摘

2018-05-21

6990

Apache Spark 1.5新特性介绍

apache spark 开源

作者：梁堰波现就职于明略数据,开源爱好者,Apache Hadoop & Spark contributor。曾任职于法国电信研究员,美团网技术专家,Yahoo!工程师,具备丰富的数据挖掘和机器学

大数据文摘

2018-05-21

6910

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态