首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >搜狗微信下线了怎么获取公众号文章?最新方式手把手教你

搜狗微信下线了怎么获取公众号文章?最新方式手把手教你

作者头像
云爬虫技术研究笔记
发布2019-11-05 12:32:28
2.6K0
发布2019-11-05 12:32:28
举报

作者: Lateautumn4lin

来源:云爬虫技术研究笔记

啊!啊!啊!搜狗微信不能爬了!怎么办???

没事,往下看。

背景

最近发现搜狗微信在2019.10.29号的时候悄然下线了一个功能,也就是不能在搜狗搜索中指定公众号的名称,如下图

很多媒体以及社区也在讨论相关的话题

这样的话,我们就没有办法准确的搜索到某个公众号的最新的文章了,所以我们要是想要去实时追踪到某个公众号的最新文章的话,就不能通过搜狗这个渠道来爬取了。 于是,我整理了一下截止目前的微信公众号的爬取方式

  1. 搜狗微信渠道(已放弃)
  2. AnyProxy+Appium
  3. X-Wechat-Key(万能key)
  4. Hook微信,获取微信公众号推送 比较一下这几种方式
  • 第二种的话使用模拟人工操作的自动化工具,AnyProxy的话可以替换成MitmProxy,也就是做一个中间人拦截的作用,具体的话可以看看陈文管的博客来看看具体操作,不过中间人拦截在App层面总会有些隐患。
  • 第三种的话在业界统称为微信万能key,也就是像公众号文章点赞、阅读什么的都需要通过这个Key来进行操作,所以一些黑产(刷赞、刷阅读量)什么的都喜欢拿这个东西搞,获取Key的话无非就是逆向重写源码逻辑或者HookKey,这个目前市面上暂时没有相关的文章。
  • 最后一种就是我们今天要采取的方式了,就是Hook微信的公众号推送,因为逻辑上公众号推送也是微信官方向我们发送消息的过程,我们可以Hook这个过程,每当收到推送我们就采取我们自己的一些处理逻辑,这样在设计上来说是四种中最“实时”的。

实战

实战方面参考了四哥的文章做了些改进,下面我们开始边分析边实战

讲一个常识,像微信这种社交类的App,我们和对方在发消息的过程中的聊天记录都是会保存在我们本地,所以我们通常都能看到我们的聊天记录,也可以清理他们,所以如果我们想要拦截微信的消息的话,就得Hook微信的Insert方法,也就是他们插入数据库的方法。

那我们该从哪里入手呢?相信大家百度搜索Hook微信的时候都会搜到一类内容,就是如何解密微信本地的数据库,而微信在我们手机上的存储位置又有一个关键词--EnMicroMsg.db,这个就是我们的入口,我们需要在微信源码中全文搜索这个词,我们使用的微信是6.5.3,工具是Jadx,实际操作如下

我们搜索出EnMicroMsg.db之后就要每个结果去分析看哪个是比较有“眼缘”的结果。我们可以看到,第三条名字是onSQLExecuted,嗯?有点像,跟进去看看。

主要看最后一条,引用了另一个方法进行存储,再跟进去

看到了涉及数据库的Help类,我们猜测这个类应该是一个辅助类,那么Insert方法应该在这个类下面,我们在这个类中搜索

好的,我们跟到这里能够看到很直观的Sql语句拼接的过程,那么这个方法的参数应该是我们收到的消息的值,只要Hook这个方法,我们就可以去拿到插入数据库时的值了。

代码片段就是这个样子,下面我们把这个代码打包成Apk,勾选,重启Xposed,下面可以发送消息测试看看效果了。

我们首先先用另一个微信号给我们自己发送普通的消息

看到这里,Content的字段,值就是我们发送的1

接着我们再用另一个微信号给我们发送公众号文章

可以看到一大段代码,我们看到Reversed字段是由很多乱码和字段以及值组成的,那么我猜测微信内部实现了一个解码工具,如果我们能够Hook到这个解码工具,是不是就可以获取到解码之后的正确数据了呢?说到解码,根据微信以往的数据传输来看,这些数据很有可能是以XML的格式进行传输的,既然涉及到xml,那就一定是键值对的形式,我们去到的数据中除了有乱七八糟的小方块,还有诸如“.msg.appmsg.category.item”这类看起来有用的内容。 我们在全文搜索一下

奇怪?我们并没有发现什么值得的东西?怎么回事,回想一下是不是我们发送的消息有问题?对!我们应该拿的是微信公众号的推送,而不是别人向我们推的公众号文章,那我就用我的公众号给我自己推一个预览消息,结果如下

我们再根据刚才的逻辑,全文搜索msg.appmsg.mmreader.category.item,之后我们一个个分析,看到下面这个部分,跟进去

我们查看这一段代码,看到下面这个部分有我们之前拦截到的消息的参数

我们发现我们需要的字段的值都来自于Yd,而Yd来自于az.Yd,那很可能这个就是我们想要Hook的解密器,我们跟进去看看

这段代码看起来很像是解码的,话不多说,Hook试试!

不出我们的猜想,这个方法果然是,我们再进行解析,得到如图的效果。

总结

这次Hook算是比较简单的案例,主要是寻找Hook方法的思路,把微信公众号的推送当成一个消息,我们去Hook这个消息存入数据库的过程从而得到原生数据,再找到原生数据解密的地方,从而通过Hook原生数据解密的方法得到正确的解码数据,最后完成我们的实时获取微信公众号推送的目的。

坑点

  1. 代码只是完成了功能,在额外的微信风控部分、Xposed检测部分估计还需要做额外工作。
  2. 项目基于手机微信来开发,需要保持手机常开,稳定性需要额外考虑。

注意:项目已经完成,想要获得源码可以关注下面的微信号,回复“hook微信公众号”即可获得项目地址以及现成的Apk

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-11-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云爬虫技术研究笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 背景
  • 实战
  • 总结
  • 坑点
  • 注意:项目已经完成,想要获得源码可以关注下面的微信号,回复“hook微信公众号”即可获得项目地址以及现成的Apk
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档