首页
学习
活动
专区
工具
TVP
发布

深度学习与python

公众号[深度学习与Python]文章同步更新
专栏成员
3962
文章
2654045
阅读量
46
订阅数
让 Kafka 支持队列功能:KIP-932和KMQ
Apache Kafka 社区正在积极推动一项名为 KIP-932(Kafka Improvement Proposal,KIP)的工作,目的是为这一广受欢迎的消息传递平台引入类似队列的功能。该提案引入共享群组的概念,用于实现协作式消息消费。与此同时,SoftwareMill 提供了一种替代解决方案,能够与现有的消费者群组机制无缝集成。
深度学习与Python
2024-07-24
1700
Grab 改进 Kubernetes 集群中的 Kafka 设置,无需人工干预就可轮换 Broker 节点
Grab 更新了其 Kubernetes 上的 Kafka 设置以提高容错性,并完全避免在 Kafka Broker 意外终止时需要进行人工干预。为解决最初设计的不足,Grab 的团队集成了 AWS 节点终止处理程序(Node Termination Handler,NTH),使用负载均衡器控制器进行目标组映射,并切换到 ELB 卷进行存储。
深度学习与Python
2024-02-29
1160
Expedia 使用 WebSocket 和 Kafka 实现近实时的数据流查询
Expedia 实现了从他们的平台近实时地查询点击流数据的解决方案,这让他们的产品和工程团队可以在开发新的和增强现有数据驱动的特性时能够进行实时的数据探索。该团队使用了 WebSocket、Apache Kafka 和 PostgreSQL 的组合,可以连续向用户浏览器流式传输查询结果。
深度学习与Python
2023-12-28
1190
上云还是下云:章文嵩博士解读真正的云原生 Kafka 十倍降本方案!
近日,AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势,再结合 Serverless 弹性技术,实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
深度学习与Python
2023-12-12
4440
HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理
HubSpot 采用在多个 Kafka 主题(称为泳道,swimlanes)上为同一生产者路由消息的方式,避免了消费者群组滞后的积压,并且能够优先处理实时流量。通过自动和手动相结合的方式探测流量峰值,该公司能够确保大多数消费者的工作流能够在无延迟的情况下执行。
深度学习与Python
2023-12-05
1640
靠Kafka挣不了钱了?Confluent 股价一夜暴跌超 44%!
截至美国东部时间周四中午 12:30,Confluent(纳斯达克股票交易代码:CFLT)的股价下跌了 44.3%。在这次大幅下跌之前,Confluent 股价今年以来已经上涨了 26%。
深度学习与Python
2023-11-06
1310
Contentsquare 使用微服务和 Apache Kafka 来发送通知
Contentsquare 平台的许多场景都需要通知功能。作为其微服务架构的一部分,该公司创建了一个跨多个服务的通用解决方案。在实现过程中,开发人员改进了可观察性,同时还克服了一些可扩展性挑战。
深度学习与Python
2023-11-01
1680
Cloudflare 的 Kafka 之旅:万亿规模消息处理经验分享
作者 | Nsikan Essien 译者 | 明知山 策划 | 丁晓昀 在伦敦 QCon 大会上,Cloudflare 高级系统工程师 Andrea Medda 和工程经理 Matt Boyle 分享了他们的平台服务团队在使用 Apache Kafka 来处理万亿规模的消息方面得到的经验教训。 Boyle 首先概述了 Cloudflare 需要解决的问题——提供自己的私有云和公共云服务,以及随着业务需求的增长而出现的团队耦合所带来的运营挑战。接着,他介绍了他们是如何将 Apache Kafka
深度学习与Python
2023-05-09
2660
消息系统兴起二次革命:Kafka不需要ZooKeeper
作者 | Tina 采访嘉宾 | 韩欣、王国璋 “我对该版本感到非常兴奋,但我们的业务特性决定了我们不能停机升级...”  3 月 30 日,Kafka 背后的企业 Confluent 发布博客表示,在即将发布的 2.8 版本里,用户可在完全不需要 ZooKeeper 的情况下运行 Kafka,该版本将依赖于 ZooKeeper 的控制器改造成了基于 Kafka Raft 的 Quorm 控制器。 在之前的版本中,如果没有 ZooKeeper,Kafka 将无法运行。但管理部署两个不同的系统不仅让运维复杂度
深度学习与Python
2023-04-01
6740
Kafka 降本实用指南
作者 | Elad Leev 译者 | 王强 策划 | Tina 本文最初发布于 leevs.dev 网站,经原作者授权由 InfoQ 中文站翻译并分享。 根据 Gartner 的预测,预计在 2021 年,全球终端用户在公共云服务上的支出将在 2020 年的 2700 亿美元基础上增长 23%,达到 3320 亿美元。 Kafka 的市场增长趋势也是一样的。世界各地的组织都在使用 Kafka 作为主要的流处理平台来大规模收集、处理和分析数据。随着组织的发展和壮大,数据规模也在增长,随之而来的云成本同样
深度学习与Python
2023-04-01
4040
新浪微博从 Kafka 到 Pulsar 的演变
作者 | 沈文兵 新浪公司是一家服务于中国及全球华人社群的领先网络媒体公司。其业务涵盖新浪媒体、微博和新浪金融。新浪通过门户网站新浪网、新浪移动、新浪财经以及社交媒体平台微博组成的数字媒体网络,帮助广大用户获得专业媒体、机构和个人创作的多媒体内容并与他人进行兴趣分享和社交互动。 其中,微博是人们在线创作、分享和发现内容的中国领先社交媒体平台。新浪微博于 2009 年上线,是中国头部、流行的社交媒体平台,提供在线创作、分享和发现优质内容的服务。据微博 2022 年第一季度财报,微博月活跃用户为 5.82 亿
深度学习与Python
2023-03-29
4060
Presto on Apache Kafka 在 Uber的大规模应用
作者 | Uber Engineering 译者 | Sambodhi 策划 | 赵钰莹 本文最初发布于 Uber 官方博客,InfoQ 经授权翻译如下 Uber 的目的就是要让全世界变得更好,而大数据是一个非常重要的部分。Presto 和 Apache Kafka 在 Uber 的大数据栈中扮演了重要角色。Presto 是查询联盟的事实标准,它已经在交互查询、近实时数据分析以及大规模数据分析中得到应用。Kafka 是一个支持很多用例的数据流中枢,比如 pub/sub、流处理等。在这篇文章中,我们
深度学习与Python
2023-03-29
8300
Flink创始团队二次创业再被收购,Kafka母公司与阿里“遭遇战”已经开始
作者 | 褚杏娟 当地时间 1 月 6 日,Confluent 联合创始人兼 CEO Jay Kreps 发布公告称,Confluent 已经签署了收购 Immerok 的最终协议,但其并未公布收购金额。 Immerok 是一家支持专注云上构建和运行 Apache Flink 的创企,开发了名为 Immerok Cloud 的 Apache Flink 云服务,它是无服务器的,抽象出了处理流数据所需的服务器管理任务。 “他们将加入 Confluent,帮助我们为 Confluent Cloud 添加完全托
深度学习与Python
2023-03-29
5840
Netflix 基于 Redis、Kafka 和 Elasticsearch 构建高吞吐优先队列 Timesone
作者 | Eran Stiller 译者 | 明知山 策划 | 丁晓昀 最近,Netflix 公布了它是如何构建 Timestone 的——一个高吞吐、低延迟的优先队列系统。Netflix 使用 Redis、Apache Kafka、Apache Flink 和 Elasticsearch 等开源组件来构建这个队列系统。Netflix 的工程师们表示,他们之所以要构建 Timestone,是因为他们无法找到满足其所有要求的现成解决方案。 其中一个需求是不需要在消费者端进行任何锁定或协调的情况下将某
深度学习与Python
2023-03-29
5600
Netflix 微服务异步迁移:从同步的“请求响应”模式转换为异步事件
假设我们正在运行一个基于 Web 的服务。请求处理变慢最终将会导致服务不可用。实际上,并不是所有的请求都需要立即处理。有些请求只要确认已收到即可。你有没有问过自己这样的问题:“我是否能够从异步请求处理中获益?如果确实如此的话,我该如何在一个实时的、大规模的关键任务系统中做出这种转变?”
深度学习与Python
2022-11-28
7640
上云一年烧掉超过100万美元,我们的钱都去哪儿了?
ConvertKit 是一家全功能电子邮件服务提供商 (ESP),是发展最快的电子邮件营销公司之一。但作为一家自力更生的私营企业,没有外部资金的支持,云成本控制对 ConvertKit 来讲非常重要。 近日,ConvertKit 详细列出了 2021 年在 AWS 上的花费,回顾了自己到底花掉了多少钱,并思考哪里还能进一步优化。“过去这一年我们也犯了不少错,但好在这些问题都可以修正。”ConvertKit 基础架构工程师 Kris Hamoud 表示。
深度学习与Python
2022-06-11
1.1K0
如何零宕机将本地 Kafka 集群迁移上云?
本文最初发表于 Medium 博客,经原作者 Natan Silnitsky 授权,InfoQ 中文站翻译并分享。
深度学习与Python
2022-04-19
1K0
解决事件驱动型微服务中的并发问题
富兰克林·罗斯福曾经说过,我们往往过多地考虑了早起的鸟儿运气好,却不怎么想早起的虫子运气差。我从来不玩彩票。彩票的失败率大到惊人;实际上,成为圣人或美国总统的可能性都比赢得彩票(例如欧洲的 EuroMillions 或美国的 Powerball)大。
深度学习与Python
2022-04-19
3400
中间件+云原生= ?| DIVE
对于开发者来说,中间件从来就不够性感,但却是不可或缺的存在。中间件为解决复杂问题而存在,并将可复用的通用性技术沉淀为可共享、高可用的支撑技术,是程序员手里的“研发利器”。
深度学习与Python
2022-03-24
3170
使用 Kafka 和动态数据网格进行流式数据交换
数据网格(Data Mesh)是近来受到广泛重视的一种新型架构范式。每家数据和平台提供商都说明了怎样使用自己的平台来构建最好的数据网格。数据网格的故事包括像亚马逊云科技这样的云计算提供商,像 Databricks 和 Snowflake 这样的数据分析提供商,以及像 Confluent 这样的事件流解决方案。本文详细讨论了这一原理,并探索了为何没有一种技术最适合构建数据网格。本文列举的例子表明,为何像 Apache Kafka 这样的开放和可扩展的分布式实时平台一般都是数据网格基础设施的核心,而其他数据平台则是为了解决业务问题而提供支持。
深度学习与Python
2022-03-23
9400
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档