腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

奇点大数据

专栏作者

243

文章

216878

阅读量

50

订阅数

用SparkStreaming做奇怪的事

作者：尹会生无需授权即可转载，甚至无需保留以上版权声明 Spark Steaming 是非常著名的流式计算工具，这次用它来搞一个奇葩的需求：开发给定一个日志同步服务器，日志达到10MB会同步过来一个新的文件，要求判断里面包含“error”关键字的次数，累积达到5次以后就发送紧急通知。这个奇葩需求要注意两个点，一个是文件会不断的增加，所以要定时删除文件；另一个是"error"会在不定长的时间出现。这让我想到了Spark Streaming 的高级功能，我们要用到状态查询才能搞的定。首先

2018-04-11

6480

我学习的Spark都在学些什么

spark 分布式

---- 最近工作中，接触到最有用的“玩具”就是Spark了，在cpu密集型业务驱动下，提升CPU处理效率，高效的利用内存是最优先的事务，所以有个好的计算工具太重要了，这也是促使我去寻找各种分布式计算工具的动力。初次接触Spark是在参与公司的一个日志系统项目了解的，当时就觉得Spark是个内存计算，支持hive sql 的利器，而且调用api非常简单、好用。当时使用的是Spark1.3 的版本，虽然功能还不太完善但是已经初见威力。后来闲下来就打算深入研究一下Spark，这个研究持续近1年

2018-04-10

1.9K0

Scala语言学习笔记一

scala spark java api

Scala是一门小众的语言，但是作者因为工作原因要以Spark作为工作中的一个重心，而Spark采用了Scala语言编写，于是萌生了认真学习Scala的念头，在学习Scala中产生了这篇Scala学习笔记，但是Scala发展之快远远超过了作者的想象。也是和Spark的迅速普及离不开关系，因此作者重新整理了Scala学习笔记，加入了Scala新的特性，希望能够对大家有所帮助，因为时间有限，能力有限，有描述不准确的地方欢迎各位指正。 1 基础使用 1.1 Scala解释器安装首先下载Scala解释器，下载地址

2018-04-10

6880

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态