原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手
原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手
前言
爬虫这麽火爆，那麽我们如何获得一些比较不错手机APP中的数据呢？今天就来教下大家使用Wireshark进行手机抓包，当然方法是通用的，不论你是Fidder还是其他的抓包软件都可以。
wireshark 是一款非常强大的开源免费的网络封包分析软件，使用它可以捕获各种网络封包，显示封包的详细信息。 wireshark 是一款电脑软件，如何使用它来捕获手机网络数据呢？ wireshark 的抓包原理是使用 WinPCAP 作为接口，直接与网卡进行数据报文交换。我们只需要让手机通过电脑网卡传输数据即可，当然其他软件的话也是一样需要在同一个网络下才可以！！如果你是苹果手机可能需要安装证书请在通用设置中确认。这里主要讲解安卓的抓包过程。
1.我使用360wifi使手机和电脑网络达到互动有无
360 免费 wifi 可以使用笔记本的无线网卡创建一个 wifi 热点 ，手机连接该 wifi 即可使用电脑网络上网。 连接之后，打开我们的 wireshark 开始抓包，马上用手机盒子点击资讯，让它刷新新闻列表
这个时候就可以看到抓包工具有协议进行传输，有人可能会问360WIFI是什么鬼！因为本来是要设置IP地址进行抓包的，但是我用360wifi就相当于电脑手机公用一个IP这样的话就避免了设置IP地址的麻烦
第一条数据内容是：
GET /apiNewsList.php?action=c HTTP/1.1\r\nHost: box.dwstatic.com\r\n我们可以使用浏览器尝试访问这个 url，看看是不是我们需要的数据：
格式是 json 的，经过 usc2→ansi 转码后：
[{"type":"newsWithHeader","tag":"headlineNews","name":"头条"},{"type":"news","tag":"newsVideo","name":"视频"},{"type":"news","tag":"upgradenews","name":"赛事"},{"type":"album","tag":"beautifulWoman","name":"靓照"},{"type":"album","tag":"jiongTu","name":"囧图"},{"type":"album","tag":"wallpaper","name":"壁纸"}]发现这个是盒子新闻顶部导航栏的一些分类，并不是我们要找的新闻列表数据，那么继续分析下个数据包：
GET /apiNewsList.php?action=l&newsTag=headlineNews&p=1 HTTP/1.1\r\nHost: box.dwstatic.com\r\n尝试访问这个 url：
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1得到数据经过解析和格式化后：
{
"totalRecord": "11225",
"totalPage": 449,
"data": [
{
"id": "23727",
"title": "17 日测服：新增五款皮肤插画 ",
"content": "9 月 17 日测服：新增五款全新皮肤插画 ",
"weight": "64",
"time": "1442456005",
"readCount": "76977",
"ymz_id": null,
"photo": "http://m1.dwstatic.com/mbox/article_img/shouji_ac75a4c4f67a7983455c6bdebd67a611.jpg",
"artId": "23727",
"commentSum": "111",
"commentUrl": "1509/306410856768&aid=23727&uniqid=b84ebe1a9e890dbe418dbb5b551ff291&gochannel=lol",
"hasVideo": 0,
"destUrl": "http://box.dwstatic.com/unsupport.php?lolboxAction=toNewsDetail&newsId=23727",
"type": "news"
}等后面的我就不列举没错了，正是我们所需要的数据。
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1这个就是LOL盒子中新闻列表的数据资源。
同理如果你想要抓什么软件只需呀像我这样一步步搜索检索出URL就可以啦。
那麽会Python的同学只需要使用Python做一些数据清洗可以使用requests爬区链接并且坐下简单处理就可以啦，则可以完美的把自己想要的资源进行获取到了！当然不知道大家有没有忘记之前我们说的企业网站解决方案在哪里我们提供了如何使用宝塔面板，这个时候我们就可以使用上了！
面板右侧有一个叫做计划和任务，这个可以自动执行程序脚本，我们把写好的Python程序上传到服务器上面，打开计划任务可以设定他每天自动执行
这些信息都设置好点击保存编辑，点击执行进入日志，看一看是不是正常执行
当然这个时候你的邮箱可能会收到一个神秘的邮件就是你用Python整理后的文档哟，每天定时发就是你自己私有的文档助手！完美！
什么？你问我如何用Python给自己邮箱发送邮件！！