首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏作者
3760
文章
2363259
阅读量
44
订阅数
以 Hadoop 和 PostgreSQL 为例,探析数据库拆解的影响
数据库界最近的一个趋势是将数据库拆解成它的组成部分。每个组件都是单独提供的,因此基础设施工程师可以将它们集成到数据库中。
深度学习与Python
2024-03-07
1140
从 Hadoop 到 Snowflake,2023年数据平台路在何方?
随着大数据技术的融合发展,企业对数据平台的要求越发多元:不仅要能够整合集成、存储、管理海量的多源异构数据,还要能够提供连通业务的多样化数据服务能力,并且能够支持不同应用、不同场景中的落地。从 Hadoop 到 Snowflake ,数据平台的发展呈现出清晰的路径,在与云的结合上也探索了丰富的技术实践。那么,数据平台的下一次“潮涌”何时到来?中国版 Snowflake 何时出现?为了探讨问题的答案,我们策划了《极客有约》特别版——《再谈数据架构》系列直播。第一期,我们邀请到了云器科技联合创始人 & CTO 关涛、Bolt 高级技术副总裁 Xiao Guo 和 RisingWave 创始人 & CEO 吴英骏博士,分别从平台服务商、用户以及投资方的不同视角分享各自的观点。
深度学习与Python
2023-08-09
2030
十年 Hadoop 退居幕后,数据云横空出世
作者 | 王一鹏 佀鑫倩 十年 Hadoop 退居幕后,云时代下的数据平台有了新的探索方向。 大数据领域从来都不缺乏重磅消息。尤记得 Cloudera 与 Hortonworks 宣布合并,后又被 KKR 和 CD&R 收购并被私有化,再加上 HPE 收购 MapR,曾经凭借 Hadoop 冲上云霄的三驾马车,如今风光不再。此外,今年 Apache 软件基金会(ASF)宣布将其至少 19 个开源项目撤回到 Apache Attic(用于归档的开源项目),其中有 10 个项目属于 Hadoop 生态系统。
深度学习与Python
2023-04-01
3490
理想汽车:从 Hadoop 到云原生的演进与思考
作者 | 聂磊 策划 | Tina 云原生架构下,基于 Hadoop 技术栈搭建数据平台应该如何改造? 理想汽车大数据平台涉及的组件多, 在从 Hadoop 到云原生演进的过程中边探索,边实践,积累了不少一手经验;同时,他们率先在对象存储上使用 JuiceFS,实现平台级文件共享、跨平台使用海量数据等场景。 1 理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了 4 个时期: 第一个时期:2006 年到 2008 年。2008 年左右,H
深度学习与Python
2023-03-29
4740
从 Hadoop 到云原生, 大数据平台如何做存算分离
作者 | 苏锐 策划 | Tina Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变;随着云计算时代的到来, 存算分离的架构受到青睐,企业开开始对 Hadoop 的架构进行改造。 今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构方案,他们的利弊各有哪些,希望可以给正在存算分离架构改造的企业一些参考和启发。 Hadoop 存算耦合架构回顾 2006 年 Hadoop 刚发布,这是一个 all-i
深度学习与Python
2023-03-29
5970
新工具爆发式增长,数据工程师的未来在哪?
当前,数据工程是一个令人兴奋的主题,这是有原因的。自出现以来,数据工程领域的发展脚步就从未放缓。新技术和 新概念 最近出现得特别快。2022 年年底就快到了,现在是时候回过头来评估下数据工程当前的状态了。
深度学习与Python
2022-11-28
2600
“后Hadoop时代”,大数据从业者如何应对新技术趋势带来的挑战?
作为开源大数据项目的发端,Hadoop 兴起至今已经超过十五年。在过去这十数年里,开源大数据领域飞速发展,我们见证了多元化技术的兴起和变迁。
深度学习与Python
2022-11-28
2880
这20年,我“颠簸”在软件工程的列车上
世界格局在进入 21 世纪之后风云变幻,软件领域同样风起云涌。从硬件到软件,从单机到分布式,从孤岛到互联,程序员的创造力无比强大。但究其本质,软件工程和土木工程其实没有太大的区别,只不过一个是在码字母,一个是在码砖头。至于建筑的主体,设计缺陷,或者地基没打好,一样会垮塌,不管是楼塌了还是软件崩了,都可能成为整个世界都能感知到的大事件。 本文作者刘星先后经历安全行业和大数据领域,2011 年加入淘宝,参与了当时全球最大的 Hadoop 集群的开发和运维,在阿里先后担任数据开发平台研发负责人、研发效能 Aone 研发负责人。本文中,他将从 2003 年淘宝网成立那年开始,回顾总结这些年来软件工程体系的主线技术,探讨变化和趋势,并从自己的视角给出一些观点和思考。
深度学习与Python
2022-03-24
3330
LinkedIn 数据分析技术栈的演进与实践
作者 | Steven Chuang、Qinyu Yue、Aravind Rao、Srihari Duddukuru
深度学习与Python
2022-03-23
3460
大数据平台如何进行云原生改造
如今,企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时,云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力,受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢?
深度学习与Python
2022-03-22
4200
撕掉“Hadoop”标签,Cloudera 未来还可期吗?
2000 年初,Google 的三篇论文奠定了最近二十年大数据的技术发展基调,也催生了 Hadoop 生态的发展和繁荣。借助 Hadoop 的东风,一批大数据企业成长了起来,Cloudera 便是代表之一。不过,Hadoop 势弱、Spark 和云计算快速崛起后,Cloudera 等大数据企业面临着或淘汰或转型的命运。
深度学习与Python
2021-12-28
4030
Uber 容器化 Apache Hadoop 基础设施的实践
随着 Uber 的业务持续增长,我们用了 5 年时间扩展 Apache Hadoop(本文中称为“Hadoop”),部署到了 21000 多台主机上,以支持多种分析和机器学习用例。我们组建了一支拥有多样化专业知识的团队来应对在裸金属服务器上运行 Hadoop 所面临的各种挑战,这些挑战包括:主机生命周期管理、部署和自动化,Hadoop 核心开发以及面向客户的门户。
深度学习与Python
2021-12-01
4150
Hadoop 生态里,为什么 Hive 活下来了?
Apache Hive 在 2010 年作为 Hadoop 生态系统的一部分崭露头角,当时 Hadoop 是一种新颖而创新的大数据分析方法。Hive 的功能就是实现 Hadoop 的 SQL 接口。它的架构包括两个主要服务:一是查询引擎:负责执行 SQL 语句;二是元存储:负责在 HDFS 中将数据收集虚拟化为表。
深度学习与Python
2021-10-13
4900
后Hadoop时代,爱奇艺如何有效整合大数据和AI平台?
大数据是人工智能的基础。从大数据到数据分析再到 AI 应用的转变,这也是一个很自然的发展过程。但是只有在数据、算法、企业的场景应用三者紧密配合的前提下,才可以有效地提升整个 AI 业务的流程。因此,爱奇艺在原来的数据积累基础上,进一步的完善了技术平台,形成了大数据 +AI 的统一架构,同时兼顾了数据、算法训练、人力物力算力等多方面的因素。那么爱奇艺在探索和实践过程中,有哪些沉淀出的经验可以分享给大家?InfoQ 采访了爱奇艺大数据计算团队负责人刘骋昺,得到了一个初步的了解。
深度学习与Python
2021-10-13
4630
Hadoop 的“遗产”
宣布“Hadoop 已死”已成为一种时尚。但,Hadoop 让企业失去了对大数据的恐惧。Hadoop 反过来又释放出一种创新的良性循环,为我们今天所知的云分析和人工智能服务带来了大量市场。
深度学习与Python
2021-06-08
2660
从广告监测到知识图谱,明略千亿大数据处理能力是如何炼成的?
网购、叫车、订外卖、看电影...... 移动互联网各种场景的背后都离不开大数据技术。经过十几年的发展,大数据技术已经成为互联网企业的基础设施。
深度学习与Python
2021-06-08
7700
2020年十个最好用的大数据分析工具
营销的基本原理是一致的,每个人都喜欢洞察力,因为这些数字模式可以提供最安全的方法来确保企业采取正确的行动,更有效地运作,以及将其资源用在何处。数据已经成了战略的据点。
深度学习与Python
2020-12-07
1K0
开源的底色,易观数科的诞生
2020 年,疫情的出现,不仅让人们正常的生活和工作状态经常被打断和改变,而且人类未来可能要学会与疫情常态化共存。疫情的出现也加速了国内企业的数字化进程,比如,企业原来的营销方式主要靠线下,但疫情的常态化迫使企业更多依赖数字化的方式。
深度学习与Python
2020-11-05
4340
深入浅出 Spark:内存计算的由来
专题介绍 2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Apache 顶级项目。如今,十年光景已过,Spark 成为了大大小小企业与研究机构的常用工具之一,依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”,那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark:原理详解与开发实践》一定适合你!本文系专题系列第一篇。
深度学习与Python
2020-09-23
7260
领英Hadoop数据丢失事故,我们从中得到了哪些教训?
对企业而言,失败往往比成功更具有启发性。另外,如果团队行动太快,又无法以完全透明的方式处理问题,那么失败所带来的影响有可能长期困扰整个团队。我们在 LinkedIn 最近就遇到了类似的问题,导致大数据生态系统发生了数据丢失的严重事件,也让我们着力反思当前的诊断与响应机制。希望我们从大数据生态系统重大事故中学到的东西,也能给各位带来一点启示。
深度学习与Python
2020-09-14
3160
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档