腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SmartSi
专栏作者
举报
270
文章
583341
阅读量
53
订阅数
订阅专栏
申请加入专栏
全部文章（270）
大数据（82）
编程算法（63）
java（45）
spark（36）
api（33）
scala（32）
sql（29）
文件存储（29）
存储（26）
flink（26）
unix（25）
mapreduce（25）
kafka（25）
hive（24）
数据库（23）
hadoop（22）
apache（19）
zookeeper（19）
windows（16）
node.js（14）
python（13）
缓存（13）
Elasticsearch Service（13）
分布式（12）
TDSQL MySQL 版（11）
网站（11）
http（11）
hbase（11）
数据处理（10）
数据结构（10）
javascript（9）
云数据库 Redis（9）
云数据库 SQL Server（7）
html（6）
json（6）
jar（6）
容器（6）
shell（6）
jvm（6）
https（6）
打包（5）
maven（5）
jdbc（5）
bash（4）
xml（4）
analyzer（4）
yarn（4）
tcp/ip（4）
socket编程（4）
linux（3）
bash 指令（3）
容器镜像服务（3）
网络安全（3）
jdk（3）
ssh（3）
正则表达式（3）
hexo（3）
php（2）
css（2）
oracle（2）
github（2）
lucene/solr（2）
ubuntu（2）
腾讯云测试服务（2）
serverless（2）
kubernetes（2）
数据分析（2）
processing（2）
ios（1）
mac os（1）
regex（1）
postgresql（1）
ruby on rails（1）
git（1）
全文检索（1）
批量计算（1）
日志服务（1）
访问管理（1）
消息队列 CMQ 版（1）
数据加密服务（1）
云推荐引擎（1）
mongodb（1）
企业（1）
vr 视频解决方案（1）
rollup.js（1）
开源（1）
压力测试（1）
numpy（1）
sql server（1）
面向对象编程（1）
npm（1）
单元测试（1）
rpc（1）
uml（1）
云计算（1）
任务调度（1）
utf8（1）
raft（1）
数据湖（1）
elasticsearch（1）
fetch（1）
get（1）
iterable（1）
join（1）
key（1）
search（1）
size（1）
storm（1）
task（1）
worker（1）
yaml（1）
搜索（1）
索引（1）
搜索文章
搜索
搜索
关闭
对流处理的误解
flink
大数据
windows
数据处理
apache
我们花了很多时间来思考流处理。更酷的是：我们也花了很多时间帮助其他人思考流处理以及如何使用流应用解决他们的数据问题。这个过程的第一步是纠正对现代流处理的误解（作为一个快速变化的领域，这里有很多误见值得我们思考）。在这篇文章中，我们选择了其中的 6 个进行讲解，由于 Apache Flink 是我们最熟悉的开源流处理框架，所以我们会基于 Flink 来讲解这些例子。
smartsi
2022-02-04
367
0
Streaming 102:批处理之外的流式世界第二部分
windows
数据处理
编程算法
欢迎回来！如果你错过了我之前的博文：Streaming 101:批处理之外的流式世界第一部分，我强烈建议你先花时间阅读这篇文章。在这篇文章介绍的内容是下面介绍内容的基础，并且当你阅读这篇文章时，我假设你已经熟悉第一篇文章中介绍的术语和概念了（有些东西在这篇文章不会详细介绍）。现在我们进入正题。先简要回顾一下，上篇文章我主要关注的三个方面：
smartsi
2022-01-31
1.2K
0
Streaming 101:批处理之外的流式世界第一部分
windows
编程算法
数据处理
分布式
serverless
尽管这些业务需求驱动了流式处理的发展，但与批处理相比，现有的流式处理系统仍然相对不成熟，这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背景信息，再深入了解有关时间详细信息之前先明确饿一些术语的真实含义，并对批处理和流式处理的常用方法进行一些高层次的概述。
smartsi
2022-01-25
492
0
Flink 如何现实新的流处理应用第一部分:事件时间与无序处理
flink
大数据
数据处理
unix
编程算法
流数据处理正处于蓬勃发展中，可以提供更实时的数据以实现更好的数据洞察，同时从数据中进行分析的流程更加简化。在现实世界中数据生产是一个连续不断的过程(例如，Web服务器日志，移动应用程序中的用户活跃，数据库事务或者传感器读取的数据)。正如其他人所指出的，到目前为止，大部分数据架构都是建立在数据是有限的、静态的这样的基本假设之上。为了缩减连续数据生产和旧”批处理”系统局限性之间的这一根本差距，引入了复杂而脆弱(fragile)的端到端管道。现代流处理技术通过以现实世界事件产生的形式对数据进行建模和处理，从而减轻了对复杂解决方案的依赖。
smartsi
2022-01-18
814
0
Lambda架构的质疑
数据处理
serverless
hadoop
windows
Nathan Marz 写了一篇非常受欢迎的博客文章，描述了 Lambda 架构（如何打破CAP定理）。Lambda 架构是一种在 MapReduce 和 Storm 或类似系统之上构建流处理应用程序的方法。
smartsi
2020-01-05
2K
0
Hadoop vs MPP
hadoop
mapreduce
spark
java
数据处理
最近我听到了很多关于此话题的讨论。同样，这也是一个大数据领域经验不足的客户非常喜欢提问的问题。实际上，我不喜欢这个含糊不清的词语，但是通常客户会找到我们使用它们，因此我不得不使用。
smartsi
2019-11-27
3.9K
0
OLAP vs OLTP
processing
数据库
数据分析
数据处理
sql
OLTP 是 Online Transaction Processing 的简称，是一个联机事务处理系统，主要目标是数据处理而不是数据分析。OLTP 系统的主要关注点是记录事务当前的更新，插入以及删除操作。OLTP 的查询比较简短，因此需要比较少的处理时间以及比较少的空间。
smartsi
2019-11-26
1.7K
0
Flink 状态管理和容错机制介绍
大数据
数据处理
数据结构
hbase
TDSQL MySQL 版
计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出，在计算的过程中要不断的把输入累加到count上去，那么count就是一个state。
smartsi
2019-08-07
741
0
Flink 使用Flink进行高吞吐，低延迟和Exactly-Once语义流处理
大数据
数据处理
windows
apache
在本文中，我们将深入探讨Flink新颖的检查点机制是如何工作的，以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试，并通过在Apache Storm（一种广泛使用的低延迟流处理器）上运行相同的实验来进行对比。
smartsi
2019-08-07
5.4K
0
Flink1.5发布中的新功能
大数据
sql
数据处理
kubernetes
api
Flink 1.5.0 是 1.x.y 系列的第六个主要版本。与往常一样，它兼容之前 1.x.y 版本中使用 @Public 注解标注过的 API。
smartsi
2019-08-07
1.3K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档