如何使用spark每5分钟分析一次pv，uv，ip
如何使用spark每5分钟分析一次pv，uv，ip
提问于 2017-08-07 14:17:09
如何每天每5分钟分析一次uv，pv，ip，并存储Mysql。数据来自Kafka，格式如下：
Message sent: {"cookie":"a95f22eabc4fd4b580c011a3161a9d9d","ip":"125.119.144.252","event_time":"2017-08-07 10:50:16"}
Message sent: {"cookie":"6b67c8c700427dee7552f81f3228c927","ip":"202.109.201.181","event_time":"2017-08-07 10:50:26"}就像00:00-00:05 00:05--00:10等等，我使用：
val write=new JDBCSink()
val query=counts.writeStream.foreach(write).outputMode("complete")
.trigger(ProcessingTime("5 minutes"))
.start()但是当我在00:01提交它或者它崩溃时，我怎么能确定它不会像00:01-00:06那样进行分析呢？
回答 1
Stack Overflow用户
发布于 2017-08-07 17:58:33
使用window函数：
query = counts.groupBy(window('event_time', '5 second')).agg()
query.writeStream.start()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45540477
复制相关文章
相似问题
腾讯云开发者
