首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏作者
3760
文章
2364917
阅读量
44
订阅数
苹果开源一个可提升 Apache Spark 向量处理速度的插件
消费电子巨头苹果公司发布了一个开源插件,可以帮助 Apache Spark 更有效地执行向量搜索,使开源数据处理平台在大规模机器学习数据处理方面变得更有吸引力。
深度学习与Python
2024-02-29
880
Apache Pinot 1.0发布,提供实时的分布式OLAP数据存储
Apache Pinot 是一个使用 Java 编写的开源列式分布式数据存储系统。Pinot 通过在线分析处理 (OLAP) 来响应低延迟的多维分析 (MDA) 查询。
深度学习与Python
2023-12-21
1490
HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理
HubSpot 采用在多个 Kafka 主题(称为泳道,swimlanes)上为同一生产者路由消息的方式,避免了消费者群组滞后的积压,并且能够优先处理实时流量。通过自动和手动相结合的方式探测流量峰值,该公司能够确保大多数消费者的工作流能够在无延迟的情况下执行。
深度学习与Python
2023-12-05
1100
Java 近期新闻:JDK 22 的 JEP、Spring Shell、Quarkus、Apache Camel、JDKMon
在结束了审查之后,JEP 460,Vector API(第七轮孵化) 已从 JDK 22 的 Proposed to Target 状态提升为 Targeted 状态。该 JEP 由 Panama 项目赞助,整合了对前六轮孵化反馈的改进:JEP 448,Vector API (第六轮孵化),在 JDK 21 中交付;JEP 438,Vector API (第五轮孵化),在 JDK 20 中交付;JEP 426,Vector API (第四轮孵化),在 JDK 19 中交付;JEP 417,Vector API (第三轮孵化),在 JDK 18 中交付;JEP 414,Vector API (第二轮孵化),在 JDK 17 中交付;以及 JEP 338,Vector API (孵化器),在 JDK 16 中作为孵化器模块发布。JEP 448 最重要的变更包括对 JVM 编译器接口(JVMCI)的增强,以支持 Vector API 值。
深度学习与Python
2023-11-18
2400
Contentsquare 使用微服务和 Apache Kafka 来发送通知
Contentsquare 平台的许多场景都需要通知功能。作为其微服务架构的一部分,该公司创建了一个跨多个服务的通用解决方案。在实现过程中,开发人员改进了可观察性,同时还克服了一些可扩展性挑战。
深度学习与Python
2023-11-01
1300
Java 近期新闻:外部函数和内存 API、OpenJDK JEP、Apache Tomcat CVE
在结束了评审之后,JEP 454(外部函数和内存 API)从 Proposed to Target 进入到了 Targeted(JDK 22)状态。该 JEP 建议在经历了两轮孵化和三轮预览之后确定这个特性:在 JDK 17 中交付的 JEP 412(外部函数和内存 API(孵化器))、在 JDK 18 中交付的 JEP 419(外部函数和内存 API(第二轮孵化器))、在 JDK 19 中交付的 JEP 424(外部函数和内存 API(预览))、在 JDK 20 中交付的 JEP 434(外部函数和内存 API(第二次预览)),以及在 JDK 21 GA 版本中交付的 JEP 442(外部函数和内存 API(第三次预览))。自上一个版本以来的改进包括:新的 Enable-Native-Access manifest 属性,允许可执行 JAR 包中的代码调用受限制的方法而无需使用——Enable-Native-Access 标志;允许客户端通过编程的方式构建 C 函数描述符,避免使用特定于平台的常量;改进了对本地内存中可变长度数组的支持;支持多字符集本地字符串。InfoQ 将会继续跟进报道。
深度学习与Python
2023-10-24
1970
当 Apache Doris 遇上大模型:探秘腾讯音乐如何基于大模型 + OLAP 构建智能数据服务平台
当前,大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台,利用庞大用户群与多元场景的优势,持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于 Apache Doris 构建查询高效、实时统一分析的 OLAP 引擎,使 OLAP 作为底层基建加强模型连接转化效率、结果输出准确率,最终将大模型 + OLAP 引擎结合为用户提供个性化、实时化、灵活化的智能数据服务平台。
深度学习与Python
2023-09-08
3380
Apache Doris 助力中国联通万亿日志数据分析提速 10 倍
在数据安全管理体系的背后,离不开对安全日志数据的存储与分析。以终端设备为例,中国联通每天会产生百亿级别的日志数据,对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前,Apache Doris 在联通体系的落地已支持了 30 多条业务线和数百个实时作业,不仅帮助联通实现了万亿级安全日志的高效分析和低成本,也为其他运营商提供了成功的参考案例和学习经验,对推动运营商的数字化转型进程具有重要意义。
深度学习与Python
2023-09-08
2930
Yelp 的 Apache Cassandra 集群重建解决方案
Yelp 构建了一个解决方案,利用其数据流架构来清理来自已损坏的 Apache Cassandra 集群的数据。提供解决方案的团队探索了许多可能的选项来解决数据损坏问题,但最终不得不将数据转移到一个新的集群中,以便在转移过程中移除损坏的记录。
深度学习与Python
2023-09-08
1350
Apache Doris 迎来重磅升级!云原生存算分离架构来了
历史上,数据分析需求的不断提升(更大的数据规模、更快的处理速度、更低的使用成本)和计算基础设施的不断进化(从专用的高端硬件、到低成本的商用硬件、到云计算服务),这两大因素推动数据仓库的架构大体经历了三个时代:软硬一体的一体机时代、存算一体的分布式时代以及存算分离的云原生时代。
深度学习与Python
2023-09-08
3130
高时效、低成本, Apache Doris 在文旅业态下的统一数据中台实践
导读:无锡拈花云科技服务有限公司(以下简称拈花云科)是由中国创意文旅集成商拈花湾文旅和北京滴普科技有限公司共同孵化组建的。拈花云科以数字化思维为导向,致力于成为文旅目的地数智化服务商。2022 年底,拈花云科 NearFar X Lab 团队在数据需求的驱动下,开始调研并引进 Apache Doris 作为新架构下的数据仓库选型方案。本文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程,以及 Apache Doris 在交付型项目和 SaaS 产品中的应用实践,希望本文分享的内容能对大家有所启发。
深度学习与Python
2023-08-10
4690
日增百亿数据,查询结果秒出, Apache Doris 在 360商业化的统一 OLAP 应用实践
作者|360 商业化数据团队 窦和雨、王新新 导读:360 商业化为助力业务团队更好推进商业化增长,实时数仓共经历了三种模式的演进,分别是 Storm + Druid + MySQL 模式、Flink + Druid + TIDB 的模式 以及 Flink + Doris 的模式,基于 Apache Doris 的新一代架构的成功落地使得 360 商业化团队完成了实时数仓在 OLAP 引擎上的统一,成功实现广泛实时场景下的秒级查询响应。本文将为大家进行详细介绍演进过程以及新一代实时数仓在广告业务场景中的具
深度学习与Python
2023-05-09
4530
腾讯游戏打通 Apache Pulsar 与 Envoy,构建高效 OTO 营销平台
作者|江烁 本文整理自 Pulsar Summit Asia 2022 上腾讯互娱 GDP 微服务开发平台网关技术负责人江烁的演讲《打通 Apache Pulsar 与 Envoy,构建高效游戏 OTO 营销平台实践》。本文将介绍介绍腾讯互娱利用 Apache Pulsar 和 Envoy 运营游戏 OTO 营销平台的经验。 腾讯互动娱乐旗下涵盖腾讯游戏、腾讯文学、腾讯动漫等多个互动娱乐业务平台。其中,腾讯游戏注册用户超过 8 亿。2022 年 6 月,腾讯游戏旗下王者荣耀日活跃用户数量超过 1 亿 6
深度学习与Python
2023-04-30
7280
Apache ECharts 团队:ASF 顶级项目是怎么炼成的? | 顶尖技术团队访谈
优秀的产品背后,必定有优秀的团队做支撑。《顶尖技术团队访谈录》系列采访以国内知名公司的 IT 技术团队为线索,展示他们的文化、思想与经验。本期,InfoQ 走进 Apache ECharts 核心团队,了解 ASF 顶级项目背后的故事和团队沉淀下来的开源经验。  Apache ECharts 是一个基于 Web 前端技术实现的数据可视化产品,它诞生于 2013 年,由百度 EFE 团队创建并开源,并于 2018 年 1 月捐赠给 Apache 软件基金会。2020 年年底,团队发布了全新重量级的 Apach
深度学习与Python
2023-04-01
4450
百万级 QPS 业务新宠,金山办公携手 Apache APISIX 打造网关实践新体验
   作者 | 张强 1背景介绍 金山办公是目前国内最大的办公软件厂商,旗下产品涉及 WPS、金山文档、稻壳等。在业务层面上由数千个业务以容器化部署在内部云原生平台,目前 Apache APISIX 在金山办公主要负责为中台部门业务(百万级 QPS )提供相关网关服务。 2金山办公的网关演进 在初期阶段,我们对于 API Gateway 的特性没有什么强需求,只是想解决运维问题,所以基于 OpenResty 与 Lua 进行了自研,实现了动态 Upstream、黑名单、waf 等功能。 虽然自研成功,但在功
深度学习与Python
2023-04-01
4520
从NoSQL到Lakehouse,Apache Doris的13年技术演进之路
整理 | 蔡芳芳、Tina 采访嘉宾: 百度 Apache Doris 主创团队 马如悦、张志强、陈明雨、武云峰、杨政国、缪翎、鲁志敬等 从 2008 年第一个版本开始到今天,Apache Doris 已经走过了 13 个年头。从推出之初为了满足百度商业系统的业务专用需求,到后来为解决通用报表与数据分析需求进一步改造,并在 2017 年改名 Palo 开源(详见 InfoQ 当时报道),再到 2018 年用回 Doris 这个名字并进入 Apache 软件基金会孵化,Apache Doris 的愿景一直是
深度学习与Python
2023-04-01
8160
Apache Kyuubi(Incubating):网易对Serverless Spark的探索与实践
在 Apache 首次亚洲线上技术峰会 --ApacheCon Asia 大会上,网易数帆大数据专家,Apache Kyuubi PPMC,Apache Spark / Submarine Committer 燕青(Kent Yao)分享了 Apache Kyuubi 孵化器项目(注:下文中出现的 Apache Kyuubi/Kyuubi 等缩写均指代 Apache Kyuubi 孵化器项目)以及 Serverless Spark 在网易的实践和探索。Kyuubi 是网易数帆大数据团队开源的项目,在各位导师
深度学习与Python
2023-04-01
3030
Apache Kyuubi PPMC 燕青:为什么说这是开源最好的时代?
作者 | 凌敏 在大数据领域,Apache Spark 早已成为最炙手可热的计算引擎。随着 Spark 两年磨一剑,正式发布 3.0 版本,带来诸多新特性的 Spark 更是拥有了无限想象空间。不过对于用户而言,平台的技术门槛始终是个不小的挑战。也正因如此,不少项目选择直接建立在 Spark 之上,通过将平台的能力统合,并引入新的特性,从而降低用户使用门槛,实现大数据价值的最大化。 Kyuubi 正是这样一个拥抱 Spark、高性能的通用 JDBC 和 SQL 执行引擎,由网易数帆旗下有数大数据团队开源。K
深度学习与Python
2023-04-01
3220
舍弃Kong和Nginx,Apache APISIX 在趣链科技 BaaS 平台的落地实践
作者 | 盛威锋 审校 | 蔡芳芳 本文介绍了 Apache APISIX 在趣链科技 BaaS 平台中的落地实践情况,以及趣链科技在众多网关应用中选择 Apache APISIX 的原因。 1业务背景 BaaS(Blockchain as a Service),中文为“区块链即服务”,是指将区块链框架嵌入云计算平台,利用云服务基础设施的部署和管理优势,为开发者提供便捷、高性能的区块链生态环境和生态配套服务,支持开发者的业务拓展及运营支持的区块链开放平台。 通常情况下,一套完整的 BaaS 解决方案包括设备
深度学习与Python
2023-04-01
3870
通过 Java 来学习 Apache Beam
作者 | Fabio Hiroki 译者 | 明知山 策划 | 丁晓昀 ‍在本文中,我们将介绍 Apache Beam,这是一个强大的批处理和流式处理开源项目,eBay 等大公司用它来集成流式处理管道,Mozilla 用它来在系统之间安全地移动数据。‍ 概    览 Apache Beam 是一种处理数据的编程模型,支持批处理和流式处理。 你可以使用它提供的 Java、Python 和 Go SDK 开发管道,然后选择运行管道的后端。 Apache Beam 的优势 Beam 的编程模型 内
深度学习与Python
2023-03-29
1.2K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档