爆了！用Python开发的小红书笔记搜索采集神器，含笔记正文、转评赞藏等

原创

马哥小迷弟132

修改于 2024-07-10 06:25:04

71520

代码可运行

文章被收录于专栏：小红书采集软件

运行总次数：0

代码可运行

在当今自媒体时代，内容为王。小红书作为一个热门的社交媒体平台，拥有大量的优质内容。然而，如何高效、快速地获取这些内容，成为了许多自媒体人、数据分析师和市场营销人员面临的挑战。现在，有了这款2024版Python爬虫软件，你可以轻松实现小红书笔记的批量采集，包括正文内容，让你的工作事半功倍！

软件特点：

高效稳定：采用先进的爬虫技术，确保采集过程高效稳定，减少出错率。
批量采集：支持小红书笔记的批量采集，一次性获取大量内容，提高工作效率。
正文内容：不仅采集笔记的标题、IP属地等基本信息，还能获取正文内容，满足你的深度需求。
简单易用：提供友好的用户界面和详细的使用说明，让你轻松上手。
安全可靠：严格遵守法律法规和平台规定，确保采集过程的安全可靠。

软件界面截图：

爬取结果截图：

以上。

软件使用过程的演示视频：

软件使用演示：有。

软件重要说明：

以上。

代码讲解教程：

爬虫通过xhs搜索接口和xhs详情接口，2个接口结合而成。

说明：从爬虫的技术实现角度来看，通过接口采集比通过网页解析运行更加稳定。

以搜索接口为例。

首先，定义接口地址作为请求地址：

# 请求地址
url = 'https://edith.xiaohongshu.com/api/sns/web/v1/search/notes'

定义一个请求头，用于伪造浏览器：

# 请求头
h1 = {
	'Accept': 'application/json, text/plain, */*',
	'Accept-Encoding': 'gzip, deflate, br',
	'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
	'Content-Type': 'application/json;charset=UTF-8',
	'Cookie': '换成自己的cookie',
	'Origin': 'https://www.xiaohongshu.com',
	'Referer': 'https://www.xiaohongshu.com/',
	'Sec-Ch-Ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',
	'Sec-Ch-Ua-Mobile': '?0',
	'Sec-Ch-Ua-Platform': '"macOS"',
	'Sec-Fetch-Dest': 'empty',
	'Sec-Fetch-Mode': 'cors',
	'Sec-Fetch-Site': 'same-site',
	'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
}

加上请求参数，指明爬取条件：

# 请求参数
post_data = {
	"keyword": search_keyword,
	"page": page,
	"page_size": 20,
	"search_id": v_search_id,
	"sort": v_sort,
	"note_type": v_note_type,
	"image_scenes": "FD_PRV_WEBP,FD_WM_WEBP",
}

详情接口同上，不再赘述。

接口请求信息拼装好之后，下面就是发送请求和接收数据：

# 发送请求
r = requests.post(url, headers=h1, data=data_json)
# 接收数据
json_data = r.json()

逐个解析字段数据，以"笔记标题"为例：

# 笔记的标题
try:
	title = json_data['data']['items'][0]['note_card']['title']
except:
	title = ''

定义一些空列表，用于存放解析后字段数据：

# 定义空列表
note_id_list = []  # 笔记id
note_title_list = []  # 笔记标题
note_type_list = []  # 笔记类型
like_count_list = []  # 点赞数
user_id_list = []  # 用户id
user_name_list = []  # 用户昵称

循环解析字段数据，以"笔记标题"字段为例：

# 循环解析
for data in json_data['data']['items']:
	# 笔记的标题
	try:
		note_title = data['note_card']['display_title']
	except:
		note_title = ''
	print('note_title:',  note_title)
	note_title_list.append(note_title)

最后，是把数据保存到csv文件：

# 把数据保存到Dataframe
df = pd.DataFrame(
	{
		'关键词': search_keyword,
		'页码': page,
		'笔记id': note_id_list,
		'笔记链接': ['https://www.xiaohongshu.com/explore/' + i for i in note_id_list],
		'笔记标题': note_title_list,
		'笔记类型': note_type_list,
		'点赞数': like_count_list,
		'用户id': user_id_list,
		'用户主页链接': ['https://www.xiaohongshu.com/user/profile/' + i for i in user_id_list],
		'用户昵称': user_name_list,
	}
)
if os.path.exists(result_file):
	header = False
else:
	header = True
# 把数据保存到csv文件
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代码中，还含有：排序方式筛选（综合/最新/最热）、判断结束条件是什么、js逆向参数解密、笔记类型（综合/视频/图文）筛选、等关键实现逻辑。

cookie说明

其中，cookie是个关键参数。（cookie是浏览器记录用户登录信息，维持一段时间会话记录的重要工具）cookie里的a1和web_session获取方法，如下：

这两个值非常重要，因为软件界面需要填写！！

2.4 软件界面tkinter模块

主窗口部分：

# 创建主窗口
root = tk.Tk()
root.title('小红书搜索详情采集软件v1.0 | 马哥python说 |')
# 设置窗口大小
root.minsize(width=850, height=650)
输入控件部分：
# 搜索关键词
tk.Label(root, justify='left', text='搜索关键词:').place(x=30, y=160)
entry_kw = tk.Text(root, bg='#ffffff', width=60, height=2, )
entry_kw.place(x=125, y=160, anchor='nw')  # 摆放位置

底部版权部分：

# 版权信息
copyright = tk.Label(root, text='@马哥python说 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.5 日志记录模块

日志模块的作用在于，当软件静默运行无人值守时，出现问题方便快速定位、找出原因，主要是方便了开发者。当然，用户也可以用它查看运行历史记录。生成的日志文件，我发个截图：

以上，END！

欢迎交流！！

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python3

python爬虫

软件开发

数据采集

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

登录后参与评论

0 条评论

热度