马蜂窝评论信息爬虫，不受网站最多加载5页的限制
有小伙伴反映，马蜂窝网站的景点点评，无论有多少数量，都只给加载5页内容，写个论文想采集来做分析，发现无法采集全。
点评数量
就没有办法了吗？当然有了，这不，我们在网站搜索发现这个小工具：马蜂窝评论采集助手，网站介绍说显示的点评多少，就可以采集多少，是不是有点厉害？！那么是真的可以爬取更多页吗？我们来试试。
小工具运行截图
马蜂窝评论采集后导出的表格
实测的确是可以爬取更多页数，但因为时间的原因，我们没有爬取到最后，不过，看页面的说明，因为不是走pc端的页面，而是小程序端的接口。有兴趣的小伙伴可以去了解。
文章来源：
本文系转载，前往查看
如有侵权，请联系 cloudcommunity@tencent.com 删除。
本文系转载，前往查看
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读