前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 爬取朋友圈最新方法!!

Python 爬取朋友圈最新方法!!

原创
作者头像
yz_weixiao
发布2021-12-18 13:45:26
1K0
发布2021-12-18 13:45:26
举报
文章被收录于专栏:Python交流社区

在几年前,互联网上曾经出现过一款生成朋友圈相册的产品。但是它的流程说起来很不互联网:

  • 首先,需要添加指定的微信号,并且给这个微信号查看自己朋友圈的权限;
  • 然后,等待几个小时;
  • 最后,得到一个链接,里面用相册模板显示了自己的朋友圈内容;

最开始听起来觉得很牛逼,心想这款产品是怎么拿到个人的朋友圈数据的,直到看到它的使用流程首先需要添加微信好友,瞬间就笑着明白了。

其实,朋友圈一直是很多人的爬虫想要采集的领地。在之前,朋友圈只能在手机或Pad上查看,要想获取朋友圈的数据,**要么手工进行人肉复制,要么通过钩子进行处理。

**这两种操作一个太低端了,一个又太高端了。

有没有稍微简单一点的呢?**用 Appnium 或许是一个方法,操作起来比钩子简单多了,但是,Appnium 的环境配置,就会吓跑很多朋友了。

**所以,Appnium 还是门槛稍高。

直到最近,微信电脑版开始支持朋友圈,事情似乎出现了转机!

所以可以通过 PyWinAuto 和 PyAutoGui 这两个工具,实现对桌面程序的自动化控制和数据采集

这两个工具,是否可以应用在微信朋友圈数据的采集上呢?

首先,引入所需的库:

代码语言:javascript
复制
1.  `import psutil`

2.  `import pywinauto`

3.  `from pywinauto.application import  Application`

其中:

  • psutil 用于获取微信电脑版的进程信息;
  • pywinauto 用于自动化控制微信电脑版

然后,我们通过 psutil 库获取到微信电脑版程序的进程ID:

代码语言:javascript
复制
1.  `PID =  0`

2.  `for proc in psutil.process_iter():`

3.  `try:`

4.  `pinfo = proc.as_dict(attrs=['pid',  'name'])`

5.  `except psutil.NoSuchProcess:`

6.  `pass`

7.  `else:`

8.  `if  'WeChat.exe'  == pinfo['name']:`

9.  `PID = pinfo['pid']`

这个进程ID用来提供给 PyWinAuto 以连接微信电脑版。然后,用 PyWinAuto 实例化一个应用:

代码语言:javascript
复制
1.  `app =  Application(backend='uia').connect(process=PID)`

接着控制微信电脑版,把朋友圈窗口打开:

代码语言:javascript
复制
1.  `win = app['微信']`

2.  `pyq_btn = win.child_window(title="朋友圈", control_type="Button")`

3.  `cords = pyq_btn.rectangle()`

4.  `pywinauto.mouse.click(button='left', coords=(cords.left +  10, cords.top +  10))`

以上代码,就实现了 Python 代码控制微信电脑版打开朋友圈窗口。效果如下所示:

朋友圈的窗口是打开了,如果获取里面的数据呢?

我们先用 .dump_tree() 方法看看朋友圈窗口里面各个控件的结构是怎样的:

代码语言:javascript
复制
1.  `print(pyq_win.dump_tree())`

这会把朋友圈窗口内所有显示出来的组件的结构打印到控制台,其显示的内容如下图所示:

我们来看一个具体的例子,例如朋友圈内的这条信息:

它在 dump_tree() 中的结构如下所示:

可以看到,窗口内的每一个信息,比如联系人的名称朋友圈内容朋友圈发布时间等等都是各种组件构成的。

我们可以通过获取和控制这些个组件,来实现数据的提取。比如在这个例子里,我们就可以通过定位到 Edit 这个组件来获取到这条朋友圈的内容:

跟其他的工具比起来,是不是算是异常简单了?

不仅简单,效果还很不错。

感兴趣的朋友们,赶紧试试吧!

文末

对文章有何见解,或者有何技术问题,欢迎在评论区一起留言讨论!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文末
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档