腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习与python

公众号[深度学习与Python]文章同步更新

专栏作者

3748

文章

2343959

阅读量

43

订阅数

Flink 十周年专访莫问：存算分离 2.0 架构的探索与展望

flink 架构流计算数据大数据

Flink 从 2014 年诞生之后，已经发展了将近 10 年，尤其是最近这些年得到了飞速发展。在全球范围内，Flink 已经成为了实时流计算的事实标准，成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际，InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰（莫问），了解他对大数据技术栈的看法，以及 Flink 的进展和未来规划。

深度学习与Python

2024-01-23

1220

挑战 Spark 和 Flink？大数据技术栈的突围和战争｜盘点

spark 大数据 flink 架构数据

十年的轮回，正如大数据的发展一般，它既是一个轮回的结束，也是崭新的起点。大数据在过去的二十年中蓬勃发展，从无到有，崛起为最具爆炸性的技术领域之一，逐渐演变成为每个企业不可或缺的基础设施。然而，在这个时刻，我们不禁要问：当前的大数据架构是否已经趋于完美？2023 年，伴随着人工智能的跃变式爆发，数据平台将如何演进，以适应未来的数据使用场景？

深度学习与Python

2024-01-17

3600

不惧流量持续上涨，BIGO 借助 Flink 与 Pulsar 打造实时消息系统

存储 flink 流量数据系统

作者 | 陈航 BIGO 于 2014 年成立，是一家高速发展的科技公司。基于强大的音视频处理技术、全球音视频实时传输技术、人工智能技术、CDN 技术，BIGO 推出了一系列音视频类社交及内容产品，包括 Bigo Live（直播）和 Likee（短视频）等，在全球已拥有近 1 亿用户，产品及服务已覆盖超过 150 个国家和地区。 1挑战最初，BIGO 的消息流平台主要采用开源 Kafka 作为数据支撑。随着数据规模日益增长，产品不断迭代，BIGO 消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练

深度学习与Python

2023-04-01

6410

Flink集成Iceberg在同程艺龙的实践

flink 程序实践数据压缩

过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文将分享同程艺龙将 Flink 与 Iceberg 深度集成的落地经验和思考。

深度学习与Python

2023-04-01

3310

SmartNews基于Flink加速Hive日表生产的实践

hive flink 日志实践数据

本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产，将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的实践。详细介绍我们遇到的技术挑战和应对方案，以供社区分享。项目背景 SmartNews 在过去 9 年的时间，基于 Airflow, Hive, S3, EMR 等技术栈构建了大量的数据集。随着数据量的增长，这些离线表的处理时间在逐渐拉长。另外，随着业务方迭代节奏的加快，对表的实时性也提出了更高的要求。因此，SmartNews 内部发起了 Speed

深度学习与Python

2023-04-01

8980

京东这样用 Flink：适应业务的才是最好的

容器 flink 数据异常优化

嘉宾｜付海涛编辑｜贾亚宁 Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。出于对云原生和 Flink 之间的关系，以及最新提出的流式数仓这个概念的好奇，我们特意邀请了付海涛老师。付海涛老师目前在京东担任资深技术专家，日常工作包含 Flink 引擎的优化增强、容器环境任务的优化和智能运维等，一起来看看他的独家理解吧。一、如何快速恢复作业我们日常的工作中，

深度学习与Python

2023-03-29

3730

Flink创始团队二次创业再被收购，Kafka母公司与阿里“遭遇战”已经开始

kafka flink 产品创业服务

作者｜褚杏娟当地时间 1 月 6 日，Confluent 联合创始人兼 CEO Jay Kreps 发布公告称，Confluent 已经签署了收购 Immerok 的最终协议，但其并未公布收购金额。 Immerok 是一家支持专注云上构建和运行 Apache Flink 的创企，开发了名为 Immerok Cloud 的 Apache Flink 云服务，它是无服务器的，抽象出了处理流数据所需的服务器管理任务。 “他们将加入 Confluent，帮助我们为 Confluent Cloud 添加完全托

深度学习与Python

2023-03-29

5490

数据实时化技术创新进展 | 一文览尽 Flink Forward Asia 2022 重磅干货内容

存储开源 flink 实时计算数据

2022 年 11 月 26-27 日，Flink Forward Asia（FFA）峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会，是目前国内最大的 Apache 顶级项目会议之一，也是 Flink 开发者和使用者的年度盛会。由于疫情原因，本届峰会仍采用线上形式。此外，本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁奖仪式，4346 支参赛队伍中共有 11 支队伍经过层层角逐脱颖而出，最终收获了奖项。 FFA 大会照例总结了

深度学习与Python

2023-03-29

5860

投入上百人、经历多次双11，Flink已经足够强大了吗？

存储大数据 flink 架构数据

采访嘉宾｜王峰（莫问）作者 | Tina 作为最活跃的大数据项目之一，Flink 进入 Apache 软件基金会顶级项目已经有八年了。 Apache Flink 是一款实时大数据分析引擎，同时支持流批执行模式，并与 Hadoop 生态可以无缝对接。2014 年，它被接纳为 Apache 孵化器项目，仅仅几个月后，它就成为了 Apache 的顶级项目。对于 Flink 来说，阿里有非常适合的流式场景。作为 Flink 的主导力量，阿里从 2015 年开始调研 Flink，并于 2016 年第一次在搜

深度学习与Python

2023-03-29

4750

实时化浪潮下，Apache Flink还将在大数据领域掀起怎样的变革？| Q推荐

apache 大数据 flink 阿里巴巴实践

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！今年是 Flink Forward Asia（下文简称 FFA）落地中国的第五个年头，也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年，Flink 一方面持续优化其流计算核心能力，不断提高整个行业的流计算处理标准，另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化，Flink 已逐步演进为流处理的领军角色和事实标准。作为开源大数据领

深度学习与Python

2023-03-29

5460

八年“老网红”Flink：揭秘实时流计算引擎全球化落地的演进历程

企业大数据 flink 开发者流计算

作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。虽然大数据领域的技术和潮流方向在不断发生改变，但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起，到流批一体在企业内部的落地，再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓，Flink 均在其中扮演着重要的角色。以上每个过程的推进和实现都并不容易，Flink 到底是如何做到的？其背后的推动力是什么？凭什么受到全球企业和开发者的青睐？带着这

深度学习与Python

2023-03-29

7550

后 Hadoop 时代，字节跳动如何打造云原生计算平台 | 卓越技术团队访谈录

node.js yarn flink 大数据数据分析

在大数据行业里，2006 年 Hadoop 的诞生，给我们带来了变革意义的改变，大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统，无论是先前十分繁荣的 Hadoop，还是后来涌现出来的 Kafka、Flink 等，都被广泛地使用着。

深度学习与Python

2022-11-28

8240

Flink & 低代码：为应用实时计算铺平道路

flink 大数据 sql 云计算机器学习

目前京东实时计算平台已经发展到了一定规模，且在 Flink 的应用上也积累了很多经验与反思。本次我们专访了京东数据分析优化部的算法工程师张颖老师，期待能从京东落地 Flink 的过程中获得一些应用 Flink 的经验和启发。

深度学习与Python

2022-06-13

5330

Flink 从实时计算到流式数仓，下一步去往哪里？

flink 云计算 windows 大数据

小米从 2019 年开始引入 Flink 并处理实时计算相关的需求，从第一个接入的版本 1.7 到最新的 1.14，累计已升级更新了 6 个大的版本，目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务，日均处理 10 万亿 + 的消息，并在国内外搭建了 10+ 集群。

深度学习与Python

2022-06-11

6560

Flink在汽车之家实时计算场景中的落地实践

flink sql 云计算 apache 大数据

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序，是业界公认的性能优异的大数据实时计算引擎之一。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。在全球范围内，越来越多的公司开始使用 Flink，在国内比较知名的互联网公司如阿里巴巴、字节跳动、京东、美团等，都在大规模使用 Flink 作为企业的分布式大数据处理引擎。

深度学习与Python

2022-03-24

4390

作业帮基于 StarRocks 画像系统的设计及优化实践

腾讯云测试服务网络安全编程算法 flink 性能测试

作业帮为提高孩子学习效率通过搜索、答题、咨询等各种行为数据以及辅导效果等结果数据，利用算法、规则等技术手段建立用户画像，用于差异化辅导提升学习效率。我们根据画像标签特点并结合 StarRocks 能力建设了一套相对适合全场景的画像圈人系统。本文主要介绍此画像服务、标签接入的系统设计及圈人性能优化方式。

深度学习与Python

2022-03-24

7010

深度参与社区建设是熟练掌握一门技术的捷径 | QCon

开源运维 flink 大数据 apache

Apache Kafka 是一个分布式消息发布订阅系统。它最初由 LinkedIn 公司基于独特的设计实现为一个分布式的提交日志系统，之后成为 Apache 项目的一部分。Kafka 系统快速、可扩展并且可持久化。它的分区、可复制和可容错等特性都是非常出色的。

深度学习与Python

2022-03-23

3590

2021年人均年终奖2.3万元；字节跳动日均进账10亿；Flink联合创始人离职；Boss直聘强制全员春节原地过年 | Q资讯

flink 大数据

华为车 BU 扩至 14 大部门，内部两大派缠斗，要求全员签署竞业协议；字节跳动日均进账 10.07 亿，裁撤投资业务引恐慌；有赞大裁员：产品和技术研发首当其冲，人员优化成今年 OKR；微软拟以 687 亿美元收购动视暴雪；砍价永远差一刀？拼多多法庭上回复：小数点后有 6 位；两万人，京东宣布 2022 年将招聘行业最大规模高校毕业生；Boss 直聘强制全部员工春节原地过年；大量网友投诉 iPhone13 粉屏等问题，苹果收到反馈；Nginx 之父 Igor Sysoev 从 F5 离职；2021 年年终奖人均水平为 2.3 万元......

深度学习与Python

2022-03-23

1.1K0

工商银行实时大数据平台建设历程及展望

flink 大数据数据库数据安全

本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。一、工行实时大数据平台建设历程二、工行实时大数据平台建设思路三、展望

深度学习与Python

2022-03-22

6520

如何构建智能湖仓架构？亚马逊工程师的代码实践来了 | Q推荐

emr kafka 数据湖大数据 flink

数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。

深度学习与Python

2021-12-02

9530

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态