开源项目推荐 【SkyEyeSystem】
原创
大家好，今天向大家推荐一个开源项目——SkyEyeSystem。
这是一个基于Spring Boot的全网热点爬虫项目，旨在提供全面而准确的全网热搜数据。
关于项目
SkyEyeSystem通过定时任务间隔10min爬取全网热搜数据。目前包括的平台有：
- 微博热搜
- B站热搜
- CSDN热搜
- 知乎热搜
- 今日头条
- 百度热搜
- 掘金
- 36氪
- 腾讯新闻
- 少数派等。
在获取到数据后
SkyEyeSystem会将原始数据存入MySQL
进行词频统计后存入Redis，
以便开发者们能够更方便地分析和利用这些热搜数据。
同时会以页面的形式展示出所有平台的数据。
页面
自定义爬虫平台
当然 也可以自定义自己希望爬取的平台，作者提供了非常清晰的教程，只需要提供对应的平台类，自定义处理爬虫逻辑即可。
- 首先在 平台表 hot_platform 中新增对应对平台记录。举例如下。
INSERT INTO sky_eye_system.hot_platform
VALUES (2,
'微博',
'https://ts3.cn.mm.bing.net/th?id=ODLS.05d45f55-2151-4d66-83e5-d10018607094&w=32&h=32&qlt=90&pcl=fffffa&o=6&pid=1.2',
'随时随地发现新鲜事！微博带你欣赏世界上每一个精彩瞬间，了解每一个幕后故事。分享你想表达的，让全世界都能听到你的心声！',
'https://weibo.com',
'随时随地发现新鲜事！',
'王志东',
null,
null,
0);- 在 src/main/java/cn/shoxiongdu/SkyEyeSystem/task/hotspot/crawl/impl 下新增对应的平台类，并实现接口 HotDataCrawler
public class XXXCrawler implements HotDataCrawler {
// 平台表中的id
private static final Long PLATFORM_ID = ${platformId};
private PlatformMapper platformMapper;
@Override
public List<HotSpot> crawlHotSpotData() {
// 执行自定义爬虫逻辑 返回的HotSpot列表。
return hotSpotList;
}
@Override
public Platform getPlatform() {
return platformMapper.selectById(PLATFORM_ID);
}
}- 实现crawlHotSpotData方法，执行自定义的数据爬取逻辑，将爬取的数据封装为HotSpot的List并返回。
- 将常量PLATFORM_ID的值改为您的对应的平台表中的id。
- 将实现类添加到Spring容器中。( @Component/@Service )
- 完成。此时，定时任务会执行您的爬取逻辑并入库。同时首页会展示相对应的数据。
项目地址
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL（TencentDB for MySQL）为用户提供安全可靠，性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性，包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL，可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理，不仅经济实惠，而且稳定可靠，易于运维。