首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

spark分析网吧同行朋友思路

你好,我们现在正好遇到一个spark的问题。 在mysql库中有2.5kw网吧轨迹数据, 需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上 (如:a和b在19号十分钟前后出现在了A网吧,又在21号十分钟前后出现在了B网吧, 再在22号十分钟前后出现在了D网吧) 就需要保留他们的身份ID和一起上下网的次数。 2.5kw轨迹中有8k+网吧请问有什么思路吗? 如果flink有更好的处理方式也可以。 使用用一个mysql的连接器,但是这东西需要配置一个分区列。 直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列), 是不是有问题?今天测试了一下。 两个网吧,3w多数据,两个小时没跑完。。 (我们是先用连接器抽出数据,按照网吧分组计算单次然后聚合筛选3次及以上的) 网吧数据从几条到几万条不等。

01

深入探索地理空间查询:如何优雅地在MySQL、PostgreSQL及Redis中实现精准的地理数据存储与检索技巧

欢迎光临猫头虎博主的技术小站,在这个数据驱动的时代,我们将一同探讨一个在现代软件开发领域日益重要的话题——地理空间查询与地理信息系统(GIS)。在移动互联网和物联网(IoT)的推动下,地理空间数据已成为数据分析和大数据处理的关键维度之一,涉及到众多场景如定位服务、路线规划、数据可视化等。接下来,我们将带领大家深入探讨如何在MySQL、PostgreSQL、Redis及MySQL 8这四种流行数据库中实现地理空间查询优化和地理数据分析。在这个全面的GIS技术指南中,我们将一起揭开数据背后的世界,发现地理空间查询在大数据分析中的无限可能!我们将探讨如何有效存储地理空间数据,实现高效的地理空间数据查询,以及如何进行精准的空间数据分析。让我们一起在这个数据科学和GIS技术交汇的旅程中,探索更多的知识和技能,挖掘地理空间数据背后的价值,开启地理信息科学的新篇章!

01
领券