首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏作者
3780
文章
2366456
阅读量
44
订阅数
专访李潇:数据智能平台,AI 时代的 Lakehouse 架构
在过去十年里,随着公有云的崛起、数据激增和人工智能的兴起等浪潮席卷,整个数据架构经历了巨大的变革和更新。这些激变使得数据架构发生了天翻地覆的变化。作为一家领先的大数据处理平台提供商,Databricks 一直扮演着引领者的角色。
深度学习与Python
2024-01-23
1240
无数据不AI的狂欢!Databricks Data+AI峰会亮点总结
一年一度的 Databricks Data+AI 峰会于上周在旧金山 Moscone 会议中心热闹开展。作为全美乃至全球最大的科技会议之一,Data+AI 峰会自然吸引了大量数据与人工智能领域工作者的目光。而以往年不同的是,今年的峰会在举办之前便火药味十足。在今年早些时候,Databricks 与 Snowflake 这两家最大的云数据平台厂商便先后宣布将在同一时间,也就是六月最后一周,举行各自的年度会议。这意味着,广大科技工作者们只能在这两家公司的活动中做出二选一的艰难抉择。而在峰会期间,Databricks 更是大规模投放广告,直接叫板 Snowflake,高调宣称自家的数据湖仓相比于 Snowflake 拥有 9 倍性价比提升。
深度学习与Python
2023-08-09
2510
OPPO数仓与数据湖融合架构升级的实践与思考
作者 | 蔡芳芳 过去几年,数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时,二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构,而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下,2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文,InfoQ 采访了 OPPO 云数架构部部长鲍永成,请他与我们分享 OPPO 引入数据湖和数
深度学习与Python
2023-04-01
7970
Snowflake与Databricks创始人亲自开撕:数据仓库要过时了?
编译 | 核子可乐、Tina Databricks 与 Snowflake 之间的激烈竞争再上新台阶,甚至有可能给整个数据仓库领域带来更加深远的影响。 短短半个月,大数据领域新一代领军企业 Databricks 和 Snowflake 就互撕了几回。 11 月 2 日,Databricks 在其官方博客发布声明,表示其数据湖仓(lake house)技术创下 TPC-DS 基准测试新记录,并强调第三方研究表明实际性能可达 Snowflake 的 2.5 倍。 在博客中,Databricks 声称这是一
深度学习与Python
2023-04-01
9050
现代数据架构选型:Data Fabric、Data Mesh | QCon
作者|QCon 数据架构总是在更新迭代的路上,以使其快速适应变化的数据环境,更为敏捷和规模化地给业务部门交付数据。在传统的数据架构中,存在数据复杂度高、缺乏敏捷性、不便于协作、数据和一致性可解释性低下等问题。这些挑战阻碍了企业迈向数据驱动型企业的道路,也难以实现快速响应业务需求。 在寻求最佳数据架构的过程中,Data Fabric 和 Data Mesh 常常被关注到,这两者乍一看很相似,但是这两种方法存在着根本差异。 Data Fabric 是一种设计概念和架构方法,旨在解决数据管理的复杂性,最大限度地
深度学习与Python
2023-03-29
4620
“理想解决方案”:Daltix 的自动化数据湖归档节省了 10 万美元
作者 | Amrit Singh 译者 | 平川 策划 | 刘燕 本文最初发布于 Backblaze 官方博客。 在快消领域,Daltix 是提供完整、透明、高质量零售数据的先行者。GFK 和联合利华等全球行业领导者依靠他们的定价、产品、促销和位置数据来制定入市策略并做出关键决策,对 Daltix 来说,维护一个可靠的数据生态系统势在必行。 自 2016 年成立以来,随着公司的发展,Daltix 处理的数据量呈指数级增长。他们目前管理着大约 250TB 的数据,分散在数十亿个文件中,很快就造成了
深度学习与Python
2023-03-29
4490
新工具爆发式增长,数据工程师的未来在哪?
当前,数据工程是一个令人兴奋的主题,这是有原因的。自出现以来,数据工程领域的发展脚步就从未放缓。新技术和 新概念 最近出现得特别快。2022 年年底就快到了,现在是时候回过头来评估下数据工程当前的状态了。
深度学习与Python
2022-11-28
2600
支撑千亿级日交易额,平安科技分布式数据库架构设计
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
深度学习与Python
2022-11-28
5850
“后Hadoop时代”,大数据从业者如何应对新技术趋势带来的挑战?
作为开源大数据项目的发端,Hadoop 兴起至今已经超过十五年。在过去这十数年里,开源大数据领域飞速发展,我们见证了多元化技术的兴起和变迁。
深度学习与Python
2022-11-28
2880
2022 年,捕捉这 12 个数据和分析趋势!
不少中国企业通常把「数据和分析」作为一个 IT 名词。而 Gartner 的研究发现,「数据分析」这个话题已经变成越来越多的业务层面的讨论。去年,Gartner 提出:数据分析能力实际上是一项业务能力。
深度学习与Python
2022-06-11
2440
LinkedIn 数据分析技术栈的演进与实践
作者 | Steven Chuang、Qinyu Yue、Aravind Rao、Srihari Duddukuru
深度学习与Python
2022-03-23
3470
作业帮基于 Delta Lake 的湖仓一体实践
作业帮是一家以科技为载体的在线教育公司。目前旗下拥有工具类产品作业帮、作业帮口算,K12 直播课产品作业帮直播课,素质教育产品小鹿编程、小鹿写字、小鹿美术等,以及喵喵机等智能学习硬件。作业帮教研中台、教学中台、辅导运营中台、大数据中台等数个业务系统,持续赋能更多素质教育产品,不断为用户带来更好的学习和使用体验。其中大数据中台作为基础系统中台,主要负责建设公司级数仓,向各个产品线提供面向业务主题的数据信息,如留存率、到课率、活跃人数等,提高运营决策效率和质量。
深度学习与Python
2022-03-23
6810
湖仓一体会成为企业的必选项吗?| Q推荐
作为一种新兴架构,湖仓一体在扩展性、事务性以及灵活度上都体现出了独有的优势,也正因如此,无论在技术圈还是资本圈,湖仓一体都受到了前所未有的关注度。
深度学习与Python
2022-03-23
2780
我们为什么在 Databricks 和 Snowflake 间选型前者?
作为 DeNexus 安全服务提供商,需要良好选型的数据平台实现巨量数据的分析和管理。DeNexus 根据自身需求选型了 Databricks 的湖仓一体解决方案,满足自身对数据类型、用户类型、可扩展性、版本管理和 MLOps 上的需求。
深度学习与Python
2022-03-22
1.4K0
构建企业现代化数据平台,从“智能湖仓”开始|Q推荐
2021 年初,在 InfoQ 全年技术趋势展望中,数据湖与数据仓库的融合,成为大数据领域的趋势重点。直至年末,关于二者的讨论依然热烈,行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控;行业内的主要共识点则是二者结合必能降低大数据分析的成本,提高易用性。
深度学习与Python
2021-12-31
1.2K0
解读数据架构的2021:大数据1.0体系基本建成,但头上仍有几朵乌云
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦大数据领域在 2021 年的重要进展、动态,希望能帮助你准确把握 2021 年大数据领域的核心发展脉络,在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一,将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域,后续将聚合延展成专题、迷你书、直播周、合集页面,在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。
深度学习与Python
2021-12-31
3610
数据中台与湖仓一体能碰出怎样的火花?网易数帆实时数据湖Arctic的新探索
数据从离线到实时是当前一个很大的趋势,但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一,导致系统和研发重复投入,在这之上的数据模型、代码也不能统一;其次是缺少数据治理,实时数据通常没有纳入数据中台管理,没有建模规范、数据质量差。针对这两个问题,网易数帆近日推出了实时数据湖引擎 Arctic。据介绍,Arctic 具备实时数据更新和导入的能力,能够无缝对接数据中台,将数据治理带入实时领域,同时支持批量查询和增量消费,可以做到流表和批表的一体。
深度学习与Python
2021-12-04
6000
如何构建智能湖仓架构?亚马逊工程师的代码实践来了 | Q推荐
数据仓库的数据体系严格、治理容易,业务规模越大,ROI 越高;数据湖的数据种类丰富,治理困难,业务规模越大,ROI 越低,但胜在灵活。
深度学习与Python
2021-12-02
9690
抛弃Hadoop,数据湖才能重获新生
十年前,Hadoop 是解决大规模数据分析的“白热化”方法,如今却被企业加速抛弃。曾经顶级的 Hadoop 供应商都在为生存而战,Cloudera 于本月完成了私有化过程,黯然退市。MapR 被 HPE 收购,成为 HPE Ezmeral 平台的一部分,该平台尚未在调查中显示所占据的市场份额。
深度学习与Python
2021-11-10
1.1K0
现在是采用湖仓一体的好时机吗?
近日,大数据独角兽 Databricks 官宣 H 轮融资,经过这一轮 16 亿美元融资,其估值已经飙升至 380 亿美元。Databricks 联合创始人兼首席执行官 Ali Ghodsi 在媒体采访中表示,这笔资金将主要用于加速构建在 lakehouse(湖仓一体)赛道的布局。
深度学习与Python
2021-10-13
2710
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档