腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
奇点大数据
专栏成员
举报
243
文章
225172
阅读量
50
订阅数
订阅专栏
申请加入专栏
全部文章(243)
人工智能(56)
其他(47)
深度学习(45)
机器学习(36)
编程算法(33)
python(30)
神经网络(30)
大数据(22)
游戏(16)
github(14)
机器人(12)
go(10)
pytorch(10)
https(10)
java(9)
安全(6)
NLP 服务(5)
自动驾驶(5)
tensorflow(5)
图像处理(5)
存储(5)
开源(5)
无人驾驶(5)
数据库(4)
自动化(4)
爬虫(4)
强化学习(4)
微信(4)
数据分析(4)
比特币(3)
数据挖掘(3)
ide(3)
git(3)
linux(3)
网络安全(3)
spark(3)
hadoop(3)
卷积神经网络(3)
线性回归(3)
数据处理(3)
区块链(2)
php(2)
javascript(2)
scala(2)
html(2)
sql(2)
ubuntu(2)
apache(2)
文件存储(2)
金融(2)
企业(2)
分布式(2)
正则表达式(2)
决策树(2)
keras(2)
数据结构(2)
hbase(2)
数据科学(2)
云镜(主机安全)(1)
对象存储(1)
人脸识别(1)
数字货币(1)
mac os(1)
c++(1)
lua(1)
r 语言(1)
node.js(1)
xml(1)
json(1)
android(1)
云数据库 SQL Server(1)
nosql(1)
云数据库 Redis(1)
api(1)
搜索引擎(1)
批量计算(1)
知识图谱(1)
腾讯云测试服务(1)
网站(1)
电商(1)
医疗(1)
http(1)
容器(1)
运维(1)
黑客(1)
shell(1)
jvm(1)
numpy(1)
opencv(1)
监督学习(1)
推荐系统(1)
zookeeper(1)
二叉树(1)
udp(1)
uml(1)
windows(1)
物联网(1)
nat(1)
学习方法(1)
bat(1)
facebook(1)
编程(1)
量化(1)
数据(1)
搜索文章
搜索
搜索
关闭
用SparkStreaming做奇怪的事
spark
作者:尹会生 无需授权即可转载,甚至无需保留以上版权声明 Spark Steaming 是非常著名的流式计算工具,这次用它来搞一个奇葩的需求:开发给定一个日志同步服务器,日志达到10MB会同步过来一个新的文件,要求判断里面包含“error”关键字的次数,累积达到5次以后就发送紧急通知。 这个奇葩需求要注意两个点,一个是文件会不断的增加,所以要定时删除文件;另一个是"error"会在不定长的时间出现。这让我想到了Spark Streaming 的高级功能,我们要用到状态查询才能搞的定。 首先
刀刀老高
2018-04-11
663
0
我学习的Spark都在学些什么
spark
分布式
---- 最近工作中,接触到最有用的“玩具”就是Spark了,在cpu密集型业务驱动下,提升CPU处理效率,高效的利用内存是最优先的事务,所以有个好的计算工具太重要了,这也是促使我去寻找各种分布式计算工具的动力。 初次接触Spark是在参与公司的一个日志系统项目了解的, 当时就觉得Spark是个内存计算,支持hive sql 的利器,而且调用api非常简单、好用。当时使用的是Spark1.3 的版本,虽然功能还不太完善但是已经初见威力。后来闲下来就打算深入研究一下Spark,这个研究持续近1年
刀刀老高
2018-04-10
1.9K
0
Scala语言学习笔记一
scala
spark
java
api
Scala是一门小众的语言,但是作者因为工作原因要以Spark作为工作中的一个重心,而Spark采用了Scala语言编写,于是萌生了认真学习Scala的念头,在学习Scala中产生了这篇Scala学习笔记,但是Scala发展之快远远超过了作者的想象。也是和Spark的迅速普及离不开关系,因此作者重新整理了Scala学习笔记,加入了Scala新的特性,希望能够对大家有所帮助,因为时间有限,能力有限,有描述不准确的地方欢迎各位指正。 1 基础使用 1.1 Scala解释器安装 首先下载Scala解释器,下载地址
刀刀老高
2018-04-10
705
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档