首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    spark分析网吧同行朋友思路

    你好,我们现在正好遇到一个spark的问题。 在mysql库中有2.5kw网吧轨迹数据, 需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上 (如:a和b在19号十分钟前后出现在了A网吧,又在21号十分钟前后出现在了B网吧, 再在22号十分钟前后出现在了D网吧) 就需要保留他们的身份ID和一起上下网的次数。 2.5kw轨迹中有8k+网吧请问有什么思路吗? 如果flink有更好的处理方式也可以。 使用用一个mysql的连接器,但是这东西需要配置一个分区列。 直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列), 是不是有问题?今天测试了一下。 两个网吧,3w多数据,两个小时没跑完。。 (我们是先用连接器抽出数据,按照网吧分组计算单次然后聚合筛选3次及以上的) 网吧数据从几条到几万条不等。

    01

    怎样导入Andon安冬暗按拉灯呼叫系统

    安冬暗按拉灯呼叫系统就是其中一个中间呼叫桥梁.通过汽车制造业安冬暗按拉灯呼叫系统,可以在车间现场和物料存储区设置信息显示板,实时反馈生产线上的物料呼叫请求,并指示和分配送物料任务。只要流水线旁物料剩余量达到触发条件(即*低剩余量时),及时发出物料需求呼叫,通过物联网络传递到数据服务器,由系统处理并自动分配给适合的物料配送人员,物料配送人员及时组织物料配送上线,完成配送后,将对应的呼叫信息进行复位,完成一次配送;系统会实时记录下每一次Andon安冬暗按拉灯呼叫系统发生的时间、地点以及对汽车制造业安冬暗按拉灯呼叫系统的响应情况,并对此进行分析。

    02
    领券