首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏作者
3760
文章
2363735
阅读量
44
订阅数
苹果开源一个可提升 Apache Spark 向量处理速度的插件
消费电子巨头苹果公司发布了一个开源插件,可以帮助 Apache Spark 更有效地执行向量搜索,使开源数据处理平台在大规模机器学习数据处理方面变得更有吸引力。
深度学习与Python
2024-02-29
880
挑战 Spark 和 Flink?大数据技术栈的突围和战争|盘点
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或缺的基础设施。然而,在这个时刻,我们不禁要问:当前的大数据架构是否已经趋于完美?2023 年,伴随着人工智能的跃变式爆发,数据平台将如何演进,以适应未来的数据使用场景?
深度学习与Python
2024-01-17
3810
如何从 Pandas 迁移到 Spark?这 8 个问答解决你所有疑问
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站,经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大,迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库,你可以用它做各种变换,可以处理各种类型的数据,例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
深度学习与Python
2023-04-01
4.3K0
探索 eBay 用于交互式分析的全新优化 Spark SQL 引擎
作者 | Gang Ma 等 译者 | Sambodhi 策划 | 闫园园   看一下 eBay 如何创建优化的 SQL 解决方案,它可以为新的基于开源的分析平台提供更高的速度、稳定性和可扩展性。 最近,eBay 完成了把超过 20PB 的数据从一个提供商的分析平台迁移到内部构建的基于开源的 Hadoop 系统。这次迁移使得 eBay 以技术为主导的重新构想与第三方服务提供商脱钩。与此同时,它也给 eBay 提供了一个机会,建立一套相互补充的开源系统来支持对用户体验的分析。 这个迁移过程中面临的
深度学习与Python
2023-04-01
7880
Spark 凭什么成为最火的大数据计算引擎?| 极客时间
现在,几乎所有公司都离不开推荐、广告、搜索这 3 类业务场景,因此 Spark 也相应成了大多数互联网公司的标配: 美团在 2014 年就引入 Spark,并将其逐渐覆盖到大多数业务线;字节跳动也基于 Spark 构建数据仓库,去服务了几乎所有的产品线;还有 Facebook 也将数据分析引擎切换为 Spark。 以美团为例,它海量的日志数据将被汇总处理、分析、挖掘与学习,为各种推荐、搜索系统甚至公司战略目标制定提供数据支持。 而 Spark 能在相同资源使用情况下,把作业执行的速度提升百倍,极大的提高了生
深度学习与Python
2023-03-29
2850
马斯克称Twitter可能破产;Meta暴裁1.1 万人,小扎承认犯了错;GitHub年度报告:印度开发者增速超中国 | Q资讯
马斯克称 Twitter 有可能破产;扎克伯格宣布 Meta 裁员,裁员人数超过 Twitter;小冰公司融资 10 亿元人民币,投后估值 20 亿美元;周鸿祎“开炮”:特斯拉不安全;张朝阳称自己是中国互联网化石,但自我感觉年轻;英伟达用 SPARK 换掉 C;.NET 7 正式发布;Apache Dubbo 正式发布 Rust 语言版本;GitHub 年度报告:印度开发者增速超中国......
深度学习与Python
2022-11-28
3370
和Rust一样好,编程更安全?三年实践、员工态度反转,英伟达用 SPARK 换掉 C
近日,知名编程语言 Ada 与 SPARK 所属公司 AdaCore 表示,英伟达的产品运行着许多经过正式验证的 SPARK 代码。对于安全较为敏感的应用程序或组件,英伟达安全团队正在用 SPARK 语言取代 C 语言。
深度学习与Python
2022-11-28
3070
大数据平台如何进行云原生改造
如今,企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时,云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力,受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢?
深度学习与Python
2022-03-22
4200
我们为什么在 Databricks 和 Snowflake 间选型前者?
作为 DeNexus 安全服务提供商,需要良好选型的数据平台实现巨量数据的分析和管理。DeNexus 根据自身需求选型了 Databricks 的湖仓一体解决方案,满足自身对数据类型、用户类型、可扩展性、版本管理和 MLOps 上的需求。
深度学习与Python
2022-03-22
1.4K0
Saleforce 基于 Kotlin 构建数据管道的探索和实践
直到最近,我们都和许多公司一样在基于 Java 或 Scala 的那几种技术(包括 Apache Spark、Storm 和 Kafka)中选一种来构建我们的数据管道。但 Java 是一种非常冗长的语言,因此用 Java 编写这些管道时需要大量样板代码。例如,bean 类这么简单的东西也需要编写多个常规的 getter 和 setter 以及多个构造器和 / 或构建器。一般来说,哈希和相等方法必须用一种很平常但啰嗦的方式覆盖掉。此外,所有函数参数都需要检查是否为“null”,为此需要多个污染代码的分支运算符。分析哪些函数参数可以或不可以为“null”是非常耗时的(而且很麻烦!)。
深度学习与Python
2021-09-22
7340
伴鱼数据质量中心的设计与实现
日常工作中,数据开发工程师开发上线完一个任务后并不是就可以高枕无忧了,时常会因为上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期(尤其是离线场景),往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题(对于一个较冷的报表,这个周期可能会更长)。同时,由于数据加工链路较长需要借助数据的血缘关系逐个任务排查,也会导致问题的定位难度增大,严重影响开发人员的工作效率。更有甚者,如果数据问题没有被及时发现,可能导致业务方作出错误的决策。此类问题可统一归属为大数据领域数据质量的问题。本文将向大家介绍伴鱼基础架构数据团队在应对该类问题时推出的平台化产品 - 数据质量中心(Data Quality Center, DQC)的设计与实现。
深度学习与Python
2021-07-12
6090
打造开放的云原生操作系统和系统软件架构
大家早上好,我今天给大家分享我们的基础软件建设。网易杭州研究院在整个网易集团的主要职责是为网易的非游戏业务构建统一的技术平台,来支撑网易音乐、网易新闻、严选,以及之前的考拉海购的业务需求。在 2019 年的时候,我们把考拉海购出售给阿里集团了,但是在之前,考拉也曾经一度是我们最大的一个支撑对象。所以对我们来讲,重点就是要去探索一个比较统一的、开放的、自主可控的技术架构,来满足我们的业务需求。
深度学习与Python
2021-06-08
1.2K0
“知天命”的英特尔不想认命
52 年前,英特尔正式成立。多年来,凭借着高端芯片设计能力以及先进的制程工艺,英特尔成长为了世界最大的半导体公司。52 年后,随着半导体市场的逐渐繁荣,英特尔早已不再是行业的绝对领导者,它引以为傲的 x86 架构随着更多芯片架构的成熟与流行,受到了不小的威胁。不仅如此,竞争对手的凶猛扩张、行业发展的变幻莫测、自身转型的切肤之痛... 无一不在影响着英特尔的发展。
深度学习与Python
2021-01-21
3830
Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战
相信作为 Spark 的粉丝或者平时工作与 Spark 相关的同学大多知道,Spark 3.0 在 2020 年 6 月官方重磅发布,并于 9 月发布稳定线上版本,这是 Spark 有史以来最大的一次 release,共包含了 3400 多个 patches,而且恰逢 Spark 发布的第十年,具有非常重大的意义。
深度学习与Python
2021-01-20
8450
深入浅出Spark:存储系统
专题介绍:2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Apache 顶级项目。如今,十年光景已过,Spark 成为了大大小小企业与研究机构的常用工具之一,依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”,那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark:原理详解与开发实践》一定适合你!本文系专题系列第四篇。
深度学习与Python
2021-01-06
8080
深入浅出Spark(三):Spark调度系统之“权力的游戏”
专题介绍:2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Apache 顶级项目。如今,十年光景已过,Spark 成为了大大小小企业与研究机构的常用工具之一,依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”,那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark:原理详解与开发实践》一定适合你!本文系专题系列第三篇。
深度学习与Python
2020-12-07
3030
深入浅出Spark:血统(DAG)
2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Apache 顶级项目。如今,十年光景已过,Spark 成为了大大小小企业与研究机构的常用工具之一,依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”,那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark:原理详解与开发实践》一定适合你!本文系专题系列第二篇。
深度学习与Python
2020-11-05
7470
Swift正式登录Windows:苹果跨平台语言值几钱?
近日,Swift 官方博客宣布将 Swift 正式引入 Windows,并附上了镜像包的下载链接。Swift 是苹果新推出的编程语言,专门针对 OS X 和 iOS 的应用开发。由于之前仅支持 MacOS 和 Ubuntu,所以使用 Windows 电脑的开发者如果想开发 iOS 的应用就只能购买一台 Mac 或安装 Hackintosh(俗称黑苹果)。现在,在 Windows 上使用 Swift 开发终于成为了可能。
深度学习与Python
2020-09-28
1.1K0
深入浅出 Spark:内存计算的由来
专题介绍 2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Apache 顶级项目。如今,十年光景已过,Spark 成为了大大小小企业与研究机构的常用工具之一,依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”,那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark:原理详解与开发实践》一定适合你!本文系专题系列第一篇。
深度学习与Python
2020-09-23
7260
Apache Spark MLlib入门体验教程
学习spark之前,我们需要安装Python环境,而且需要安装下边这两个关于Spark的库:
深度学习与Python
2019-06-18
2.5K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档