本文主要介绍如何通过spark进行pv和uv的计算。一般我们经常会计算pv和uv,那么我们计算pv和uv的时候是不是性能最优的呢?...templateName":"dailySignPush","appType":3,"sendNum":1}}
然后我们按行读取数据,读取后,我们需要算出不同bucket中不同openid的sendNum的pv和uv...), 1)
((2, u'replyPost', 5, u'otU065OELPd_rvm-eeee'), 1)
((3, u'dailySignPush', 4, u'otU065OELPd_rvm-pppeeee...2, u'replyPost', 5), (u'otU065OELPd_rvm-eeee', 1, 1))
((3, u'dailySignPush', 4), (u'otU065OELPd_rvm-pppeeee...同时,在处理时也会出现同一个rdd使用多次的现象,虽然我们可以使用cache把rdd暂时保存在内存中,但是我们应该尽量去使用能够一次的到pv和uv的方法。