我是攻城师-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

我是攻城师

专栏成员

492

文章

1001356

阅读量

119

订阅数

理解BitMap算法的原理

编程算法数据结构其他数据处理 java

位图：一种常用的数据结构，代表了有限域中的稠集（dense set），每一个元素至少出现一次，没有其他的数据和元素相关联。在索引，数据压缩，海量数据处理等方面有广泛应用。

我是攻城师

2018-11-30

7.8K0

Spark Streaming如何使用checkpoint容错

spark 数据处理

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，Spark Streaming和Filnk。曾经在一个项目里面用过阿里改造后的JStrom，整体感受就是编程略复杂，在不使用Trident Api的时候是不能保证准确一次的数据处理的，但是能保证不丢数据，但是不保证数据重复，我们在使用期间也出现过几次问题，bolt或者worker重启时候会导致大量数据重复计算，这个问没法解决，如果想解决就得使用Trident来保

我是攻城师

2018-05-14

2.8K0

六个藉藉无名但迅速崛起的Apache大数据项目

apache 大数据数据处理数据分析

如今全球各地的无数企业组织在处理数据集，这些数据集是如此地庞大而复杂，以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题，而Apache软件

我是攻城师

2018-05-14

1.3K0

十种程序语言帮你读懂大数据的“秘密”

大数据数据处理

随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的。但如果只用一些操作软件来分析，而不怎么如

我是攻城师

2018-05-11

6220

新浪网/系统架构师饶琛琳：那一年，我毕业了

系统架构数据处理

我叫王大锤，当然不是。。。我叫饶琛琳，目前是新浪网系统架构师，专注于实时数据处理和监控领域。下个月，我要迎来自己亲手招的第一个应届生入职，所以，借51CTO的平台，给应届生们分享一下我毕业以来的一些小

我是攻城师

2018-05-11

9830

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态