首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏作者
3760
文章
2363665
阅读量
44
订阅数
专访李潇:数据智能平台,AI 时代的 Lakehouse 架构
在过去十年里,随着公有云的崛起、数据激增和人工智能的兴起等浪潮席卷,整个数据架构经历了巨大的变革和更新。这些激变使得数据架构发生了天翻地覆的变化。作为一家领先的大数据处理平台提供商,Databricks 一直扮演着引领者的角色。
深度学习与Python
2024-01-23
1240
Flink 十周年专访莫问:存算分离 2.0 架构的探索与展望
Flink 从 2014 年诞生之后,已经发展了将近 10 年,尤其是最近这些年得到了飞速发展。在全球范围内,Flink 已经成为了实时流计算的事实标准,成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际,InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰(莫问),了解他对大数据技术栈的看法,以及 Flink 的进展和未来规划。
深度学习与Python
2024-01-23
1270
挑战 Spark 和 Flink?大数据技术栈的突围和战争|盘点
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或缺的基础设施。然而,在这个时刻,我们不禁要问:当前的大数据架构是否已经趋于完美?2023 年,伴随着人工智能的跃变式爆发,数据平台将如何演进,以适应未来的数据使用场景?
深度学习与Python
2024-01-17
3810
存算成本各降低 50%+:网易游戏大数据平台上云架构设计
编辑|邓艳琴 完整 PPT 下载: https://qcon.infoq.cn/2023/guangzhou/presentation/5269 JuiceFS GitHub 地址: https://github.com/juicedata/juicefs
深度学习与Python
2023-09-08
3160
大数据在大模型趋势下的“新姿态”:大模型与企业数据充分协同
随着大数据、人工智能和云计算等技术的不断发展,大模型成为了企业数据体系中不可或缺的一部分。大模型趋势下,企业数据体系面临着新的挑战和机遇。比如,大模型的训练需要大量的数据,而数据的收集、清洗和处理需要耗费大量时间和人力。同时,大模型的训练需要高性能计算资源,这需要企业进行大量的投资,而且大模型的训练和推理需要强大的算法和计算能力,这进一步增加了技术难度和成本。
深度学习与Python
2023-08-09
1K0
CubeFS在大数据和机器学习的探索和实践丨ArchSummit峰会实录
近日,AS 全球架构师峰会上海站圆满落地。会上,来自 OPPO 安第斯智能云的唐之享围绕云原生分布式存储 CubeFS 在机器学习和大数据的探索和实践这一主题展开了精彩分享,以下为本次分享的精华内容。本次分享主要从以下四个方面进行: CubeFS 的架构设计和关键产品特性; CubeFS 在机器学习领域的应用和实践,详细说明 OPPO 机器学习存储的演进过程和遇到的问题和挑战,以及如何基于 CubeFS 应对这些问题和挑战; CubeFS 在大数据的应用和实践; 展望 CubeFS 的未来演进方向。 01
深度学习与Python
2023-05-09
5420
大数据已死?谷歌十年老兵吐槽:收起 PPT 吧!数据大小不重要,能用起来才重要
作者 | Jordan Tigani 译者 | 红泥 策划 | 李冬梅 随着云计算时代的发展,大数据实际已经不复存在。在真实业务中,我们对大数据更多的是存储而非真实使用,大量数据现在已经变成了一种负债,我们在选择保存或者删除数据时,需要充分考虑可获得价值及各种成本因素。 十多年来,人们一直很难从数据中获得有价值的参考信息,而这被归咎于数据规模。“对于你的小系统而言,你的数据量太庞大了。”而解决方案往往是购买一些可以处理大规模数据的新机器或系统。但是,当购买了新的设备并完成迁移后,人们发现仍然难以处
深度学习与Python
2023-04-30
7530
终于有人把数据中台讲明白了 | 极客时间
数据中台”这两年在大数据圈里颇为盛行,讨论度居高不下,好像不聊它就落伍了。作为大数据的下一风口,各一线大厂如阿里、网易、京东、美团等都很重视,如今也渗透到各个传统行业。之前就有人在后台留言,说在面试时遇到过这样的场景: 腾讯面试官:“ 我们部门是 AI 组下面 NLP 全栈,包括前台、中台、后台.....,你做过数据中台么?” 我:“.....(啥是中台??)” Game Over!! 那么什么是数据中台?它被大厂看重的是什么价值? 所谓“中台”,是衔接多个“前台”和多个“后台”的中间层,核心就是通过数据服
深度学习与Python
2023-04-21
3790
宜信、度小满、太平洋保险、平安银行分享金融业数字化转型的技术实践 | ArchSummit
金融领域数字化转型是指金融行业利用新兴技术,如人工智能、区块链、云计算、大数据等,对传统金融业务进行重构和升级,以提高金融业务的效率、降低成本、提升客户体验等。金融行业的数字化转型意味着业务重塑,从技术手段到实际运用整个流程都将发生巨变。在这些变化过程中,我们应该如何做出应对以及变化? 在 ArchSummit 全球架构师峰会(上海站),我们设置了【金融业数字化转型探索】专题,邀请陆金所技术总监朱益盛担任专题出品人,为专题内容质量把关。在此专题下,我们一共有四场分享,以下是详细介绍: 首先,我们邀请了宜信运
深度学习与Python
2023-04-14
3540
字节跳动与腾讯隔空骂战;网传“美团员工黑入拼多多获薪资信息”;深圳大数据杀熟或可罚5000万元|Q资讯
整理|罗燕珊 字节跳动和腾讯隔空骂战;HarmonyOS 2 正式发布,华为宣布“百机焕新计划”;网传“美团员工黑入拼多多获薪资信息”,检方:侦查阶段不便透露;百度造车新进展:定价 20 万元以上,下半年进行新一轮融资;苹果 App Store 去年创收 6430 亿美元;豆瓣和字节跳动因用户造谣被判赔爱奇艺 25 万;腾讯最大股东 Prosus 以 18 亿美元收购 Stack OverFlow;OceanBase 宣布开源;大数据“杀熟”?深圳最高或可罚款 5000...... 科技公司  字节跳动与腾
深度学习与Python
2023-04-01
4930
一文遍历大数据架构变迁史
作者 | 松子(李博源) 策划 | Tina 编者按:《透过数字化转型再谈数据中台》系列连载 6-8 篇左右,作者结合自己在数据中台领域多年实践经验,总结了数据架构知识、BI 知识,以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。 在前面两篇 “关于数字化转型的几个见解 ”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快,信息量过载,以及存在广义、狭义的数据中台定义的差别等,涉及到的这些知识都离不开数据架构的范畴,所以这一篇我会通过大数据架构发展的视角来总结与分享。(一些
深度学习与Python
2023-04-01
4030
架构的下一个十年是什么样的? | ArchSummit
全面推进数字化转型是企业塑造自身核心竞争力的关键之举,而 AI、大数据、物联网、云计算等技术共同筑成了数字科技底座。立足当下,我们看到了云与 AI、大数据、边缘计算的深度协同,也看到了数字基础设施的不断夯实,更看到了新一轮的技术变革正围绕着“分布式”“弹性交付”“质效提升”三个关键词发生。 因此,ArchSummit 全球架构师峰会(深圳站)2021,以“云无处不在”为主线,围绕“分布式”“弹性交付”“质效提升”三个方面策划了此次内容,分享云与大数据、AI、边缘计算的深度协同的技术实践,还会关注一些可能会引
深度学习与Python
2023-04-01
2760
2021大数据开发面试高频100题最新汇总(附答案详解) | 极客大学
又到了金三银四的招聘旺季,很多想入行大数据开发的程序员却在面试上发了愁。大数据方向技术栈繁多,不同的面试官和公司用到的技术栈也不一样,问的问题也是各有不同。 大厂面试题回忆: 【腾讯 PCG 事业部 大数据开发岗】 spark 数据分发机制  Spark Streaming 给个具体视频应用场景阐述开发思路及任务架构【阿里创新业务事业群 大数据开发工程师】 spark partition 的类型及特点  yarn 任务启动的具体流程  spark 任务分发机制 为了帮助想要入行大数据开发的程序员们在金三银四
深度学习与Python
2023-04-01
5900
北京Q1平均月薪达11187元;拼多多回应被告诈欺;京东、美团等承诺不用大数据杀熟 | Q资讯
整理 | 罗燕珊 “砍价免费拿”始终差 0.09%?拼多多被告诈欺;滴滴启动造车,已开始从车厂挖人;华为:将于 4 月 17 日发布纯电动轿车阿尔法 S;美图豪赌比特币:已购买 1 亿美元加密货币;库克透露十年内可能卸任,苹果下一任 CEO 最有可能是谁;雷军回应小米新 logo 争议;京东、美团等 10 家平台承诺不用大数据杀熟;美国将七家中国超算实体列入出口黑名单;谷歌 VS 甲骨文“十年 Java 纠纷案”了结;一季度北京平均月薪达 11187 元...... 科技公司  “砍价免费拿”始终差 0.0
深度学习与Python
2023-04-01
4080
一年追回超200亿, 打击医保欺诈骗保行为,有了AI新“武器”
医保智能监控正在成为打击欺诈骗保战役中的有力“武器”。 1AI 大数据风控:打击欺诈骗保战役的“利剑” 3 月 7 日,全国政协委员,济南市副市长王桂英在其一份名为“关于推进‘互联网 +’医保服务提升慢性病管理效能的建议”的提案中建议,加快推动国家医保信息平台建设,同时强化政策指导,完善医保支付模式。此外还要强化监管效能,构建智能监控体系。加快完善统一的智能监控系统,通过生物认证、大数据风控、进销存监管等手段,实现事前提醒、事中预警、事后审核全链条监管,有效规范互联网慢病服务医疗行为,维护医保基金安全。 据
深度学习与Python
2023-04-01
3570
从 Ray 到 Chronos:在 Ray 上使用 BigDL 构建端到端 AI 用例
作者 | Wesley Du, Junwei Deng, Kai Huang, Shan Yu and Shane Huang 作者是英特尔人工智能和分析团队的解决方案架构师,该团队一直致力于 BigDL 的开发。数据科学家和数据工程师可以使用 BigDL 轻松构建端到端的分布式 AI 应用。 1 介绍   Ray 是一个能够非常快速和简单地去构建分布式应用的框架。BigDL 是一个在分布式大数据上构建可扩展端到端 AI 的开源框架,它能利用 Ray 及其本地库(Native Libraries)来支
深度学习与Python
2023-04-01
7100
Uber是如何低成本构建开源大数据平台的?
作者 | Uber Engineering 译者 | 王强 策划 | 钰莹 随着 Uber 业务的扩张,为公司业务提供支持的基础数据池也在飞速膨胀,其处理成本水涨船高。当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划。该计划将问题分解为三大分支:平台效率、供应和需求。在这篇文章中,我们将讨论 Uber 为提高数据平台效率和降低成本所做的一系列工作。 1大数据文件格式优化 我们的大部分 Apache®Hadoop®文件系统(HDFS)空间都被 Apache Hive 表占用了。
深度学习与Python
2023-04-01
5450
想在数据高速的路上疾驰,如何才能不翻车?| Q推荐
相信很多人都有这样的经历:手机里有几百条未读的推销短信;注册了某网站的会员以后,马上被推销电话打到爆... 诸如此类信息泄露的事件屡屡发生。 眼下,我国第一部与数据安全有关的专门法律——《数据安全法》,即将于 9 月 1 日起正式施行,这意味着数字经济监管趋严,有法可依的时代就要来了。新法落地在即,企业的哪些行为将会触碰红线?《数据安全法》正式推行以后,对互联网企业现有的数据安全能力又带来了哪些新的挑战? 9 月 1 日 16:00-18:00,InfoQ 将联合中国信息通信研究院云大所共同举办一场视频号
深度学习与Python
2023-04-01
2310
大数据先驱Cloudera拥抱云计算,探索后Hadoop时代的下一代数据平台 | Q推荐
未来十年,企业数据管理模式将如何进化?Cloudera 的答案是 — 企业数据云。 在数据爆炸时代“掘金” 数字正在“吞噬”世界。 过去的十几年里,我们进入了一个数据爆炸、信息过载的时代。 数据规模在以惊人的速度增长。 2006 年,个人用户才刚刚迈入 TB 时代,当年全球共产生了约 180EB(1 EB = 1024 TB)的数据;2012 年,这个数字增长到了 3.7 ZB(1ZB=10 亿 TB)。 据国际权威机构 Statista 统计和预测,2020 年全球数据产生量预计达到 47ZB。而到 20
深度学习与Python
2023-04-01
5480
Apache Kyuubi PPMC 燕青:为什么说这是开源最好的时代?
作者 | 凌敏 在大数据领域,Apache Spark 早已成为最炙手可热的计算引擎。随着 Spark 两年磨一剑,正式发布 3.0 版本,带来诸多新特性的 Spark 更是拥有了无限想象空间。不过对于用户而言,平台的技术门槛始终是个不小的挑战。也正因如此,不少项目选择直接建立在 Spark 之上,通过将平台的能力统合,并引入新的特性,从而降低用户使用门槛,实现大数据价值的最大化。 Kyuubi 正是这样一个拥抱 Spark、高性能的通用 JDBC 和 SQL 执行引擎,由网易数帆旗下有数大数据团队开源。K
深度学习与Python
2023-04-01
3210
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档