本软件工具仅限于学术交流使用,严格遵循相关法律法规,符合平台内容合法性,禁止用于任何商业用途!
小红书作为国内领先的社交电商平台,拥有庞大的用户群体和高活跃度,其笔记评论区域蕴藏着丰富的用户反馈信息。在合法合规、尊重平台规则及用户隐私的前提下,对小红书评论数据进行合理采集与分析,有助于企业深入了解消费者对产品与品牌的真实评价,从而更好地洞察市场需求、优化产品策略。
基于这一需求,我利用 Python 开发了一款数据采集辅助工具 ——【爬小红书搜索评论软件】。该工具严格遵循平台公开的接口规范和数据使用政策,确保数据采集行为的合法性与合规性。
软件支持两种合规的数据采集模式:
1、基于关键词的评论采集:在平台规则允许的范围内,用户输入合法的笔记关键词,软件通过关键词搜索获取相关笔记链接,并从中提取允许访问的评论数据。 2、基于笔记链接的评论采集:用户提供合法获取且平台允许分析的笔记链接,软件依此合规地提取相关评论信息。
用户可根据实际需求,在合法合规的前提下选择其中一种模式进行数据采集。
软件界面,如下:
在合法合规及遵守平台规则的前提下,展示符合数据使用范围的爬取结果示例:
爬取结果 1 - 笔记数据:
爬取结果 2 - 评论数据:
软件在合法合规操作流程下的运行演示:
有的
几点重要说明,请仔细阅读:
1. Windows用户可直接双击打开使用,无需Python运行环境,操作便捷。
2. 软件严格通过平台公开允许的接口协议进行数据交互,并非通过模拟浏览器等RPA类工具,确保稳定性与合规性 。
3. 先在cookie.txt中填入符合平台规定获取方式的自己的cookie值,方便重复使用(内附合法合规的cookie获取方法)。
4. 支持按平台允许的笔记类型(综合/视频/图文)和排序方式(综合/最新/最热)进行数据获取。
5. 支持多个的设置项有:在平台规则允许范围内的笔记关键词、笔记链接、评论关键词、IP属地 。
6. 每个关键词最多可采集220条笔记,与网页端在平台规则下的搜索数量一致。
7. 爬取过程中,每爬一页,存一次csv。并非爬完最后一次性保存!防止因异常中断导致丢失前面的数据(每条间隔1~2s,避免对平台服务器造成过大压力)。
8. 爬取过程中,有log文件详细记录运行过程,方便回溯,同时确保记录内容符合平台隐私政策。
9. 爬取过程中,在符合平台数据处理规则下,评论筛选同时进行。并非全部评论爬完再一次性筛选!所以效率较高!
10. 笔记csv含10个字段,有:关键词,页码,笔记id,笔记链接,笔记标题,笔记类型,点赞数,用户id,用户主页链接,用户昵称(确保各字段数据获取与使用符合平台及用户隐私相关规定)。
11. 评论csv含10个字段,有:笔记链接,页码,评论者昵称,评论者id,评论者主页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容(确保各字段数据获取与使用符合平台及用户隐私相关规定)。
以上。
软件全部模块采用 python 语言开发,主要分工如下:
出于版权考虑,暂不公开源码,仅向用户提供软件使用。同时,确保软件使用过程严格遵循平台规则与相关法律法规。
开始采集前,需按照平台规定的合法方式获取并把自己的 cookie 值填入 cookie.txt 文件。
cookie 获取说明 1:(确保获取方法符合平台规则)
爬取思路:在遵循平台规则下,通过合法输入笔记关键词 -> 获取平台允许访问的笔记链接 -> 提取允许采集的评论
先填写左上区在平台规则允许范围内的笔记筛选项,再填写右上区符合平台规定的评论筛选项,点击按钮 1 进行合规的数据采集。
爬取思路:使用合法获取且平台允许分析的笔记链接 -> 提取允许采集的评论
先填写中上区合法合规的笔记链接,再填写右上区符合平台规定的评论筛选项,点击按钮 2 进行合规的数据采集。
软件首发于微信众公号 "老男孩的平凡之路",仅限于学术交流技术探讨,请勿用于商业用途,欢迎在遵守相关规则和法律的前提下交流探讨!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。