12306自动刷票下单-查票

前言

上篇写了12306登录,隔了快一个月了,才准备动手写下单篇,真的要非常感谢博客园的 Asimple朋友,如果不是看到你的留言,我几乎都忘了要写下篇了,这一点在简书上就不好,都没人看/(ㄒoㄒ)/~~,刚开始写博客,真的需要大家的鼓励,看的人多了自然有动力写更多的,所以这一篇要给那些看过我上篇的同学们,尤其是这位Asimple同学,就是为你而写,没错就是这个原因。因为你让我知道了有人在看,而且用心的在看。发了这么多感慨,其实我不是这么爱感慨的人(✿◡‿◡),直入主题吧。

图片.png

还得说一下这次我用的是Firefox浏览器,在上篇中说了Chrome浏览器的一个问题,在抓取的请求过多的情况下,前面的请求就可能看不到请求信息,最后搞得我不得不搞了个虚拟机,装了xp,用Fiddler去查看请求信息,后来就换了Firefox,最新版的Firefox没有Firebug可用,但是自带的开发者工具足够用了。当然Chrome我也没卸载,因为Chrome上有个很赞的功能,在元素界面查找元素的时候可以用css和xpath,可不是右键copy里面的css和xpath哦

图片.png

在这个查找框里你就可以写自己的css和xpath,看实时效果,这个真是太棒了,不用装额外的插件。Firefox上暂时还没有发现这个功能,也不知道有没有类似的插件,如果有人知道的话,麻烦回复一下,先谢过了。鼠标左键还坏了,只能把右键设置一下暂时用着,一波三折呀!这次真的要进入主题了。

图片.png

卧了一个槽,忽略我上面说的吧,要写博客了,有一个请求Firefox竟然不给显示了,还是虚拟机吧


后记

后记为什么要加载前言后面,而不是在文章最后,我怕你不看。在这次分析中我基本没有添加什么代码,因为基本上每一个请求就是定义一个字典、一个url,然后发送请求,获取数据,然后继续下一个。另一方面就是我并没有做代码优化和整理。我们都应该知道对于没有反爬措施的网站,基本上看两个小时的爬虫教程就能写的出来,对于有反爬的网站,最难得地方是分析阶段,而不是发送请求。最后一点就是做这个也是一时兴起,积累一下经验,最主要是开始写一写博客。同时给像我一样初学爬虫的朋友一个例子、一个思路。


查票

图片.png

车票预订界面的url:https://kyfw.12306.cn/otn/leftTicket/init,选好票以后点击查询

图片.png

多了一下两个请求,第一个请求我没用,没有任何影响,我们就不用去管它,直接看第二个请求 https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-12-25&leftTicketDTO.from_station=BJP&leftTicketDTO.to_station=SHH&purpose_codes=ADULT

图片.png

看一下参数和返回数据,太乱了,稍微仔细看一下,预订、有、G5,好像还是有些有用信息的,可以按|拆分一下看看

图片.png

图片.png

看到了车次G101,8、9是开车时间和到达时间,10是历时,商务座特等座9张余票,32行显示9,一等二等座都是有票,对应30、31,就不能具体确定了,暂时先不管,至少我们确定了这个请求是查询出我们需要的车票信息了,那么再看一下请求参数,第一个是时间很容易理解,第四个好像是票的类型,成人票,翻译一下单词就知道了,反正每次都一样,不用管了,中间两个出发站、目的地,不过这些字母是啥意思,应该是站名对应的编码,在这个请求之前肯定是有对应关系的,

图片.png

https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9034 一个js的请求@bjb|北京北|VAP|beijingbei|bjb|0,拆分以后可以看到站名和编号 建议看完所有的分析在看代码

def query_ticket_info(date, info):
    js_info = json.loads(info)    if js_info.get("status") != True:
        print("查询余票失败")        return

    result = js_info.get("data").get("result")    for i in result:
        lst = i.split('|')        if lst[11] != "Y": #主要是判断是否开票了,见下图情况
            continue
        item = {            "预定号":lst[0], #预定号
            "train_no":lst[2],            "车次":lst[3], #车次
            "始发站":get_station_name_from_code(lst[4]), #始发站
            "终点站":get_station_name_from_code(lst[5]), #终点站
            "起始站":get_station_name_from_code(lst[6]), #起始站
            "目标站":get_station_name_from_code(lst[7]), #目标站
            "出发时间":"{} {}".format(date, lst[8]), #出发时间
            "到达时间":get_end_time(date, lst[8], lst[9], lst[10]), #到达时间
            "历时":lst[10], #历时
            "train_location":lst[15],            "高级动卧":lst[21], #高级动卧
            "软卧":lst[23], #软卧
            "软座":lst[24], #软座
            "特等座":lst[25], #特等座
            "无座":lst[26], #无座
            "硬卧":lst[28], #硬卧
            "硬座":lst[29], #硬座
            "二等座":lst[30], #二等座
            "一等座":lst[31], #一等座
            "商务座":lst[32], #商务座
            "动卧":lst[33], #动卧
        }        yield item

图片.png

这个函数需要解释一下,主要是这些站点信息是怎么找到的,说一下思路

  • 当我们打开车票预订界面的时候,是这样的,下面是空的

图片.png

  • 点击查询后

图片.png

  • 由此我们知道车票信息是通过js动态添加的(maybe),那么我们就查找动态创建出来的元素,随便在上面找一个元素特征,比如我找这个

图片.png 当然你可以随便找一个,前提是不是动态创建的,然后在我们的js和document请求中去查找这个值,最后我找到了https://kyfw.12306.cn/otn/resources/merged/queryLeftTicket_end_UAM_js.js?scriptVersion=1.9053

图片.png 我找这个是干什么呢?我们上面的请求得到了余票信息,是json格式的,那么肯定是通过js把它添加到界面上,我们要知道哪一个信息是添加到硬座上,哪一个是添加到硬卧上,就像我代码里写的那样,把所有的票种都找出来

  • 通过分析js

图片.png 然后把大部分我们需要的参数都对应出来,这样就看到像我上面写的函数那样,取出我们需要的信息

  • 其实有一种更简单的方式,就是你查询了余票信息以后,会看到余票几张几张,然后去对应的信息参数中去找,比如

图片.png 我们就知道了32对应的是商务座特等,多查询一些站点就会把所有对应索引都找出来


预订

点击预订后看一下请求,记住我上一遍说过的,一般是看xhr和document请求, https://kyfw.12306.cn/otn/login/checkUser

图片.png

看起来很简单,参数也只有一个_json_att,值为空 重头戏来了https://kyfw.12306.cn/otn/leftTicket/submitOrderRequest

图片.png

看请求参数secretStr,其他的请求几次发现没啥变化,重点就在这个secretStr上了,太乱了,咦,我上面好像说过这三个字,对他们有关系。怎么去理解呢,这里是发了一个post请求,而这个secretStr是作为参数发送给服务器的,那么它必定是在我们本地产生的,在这个请求之前应该能找到。看一下特征:+wOQuwrBzvR6e...。是不是能发现查票那个请求里返回的数据第一个%2BwOQuwrBzvR6e,相似度很高啊,肯定是进行了编码或解码。Fiddler这点很好

图片.png

点击查票请求的第一条数据,右键->Send to TextWizare...

图片.png

哇哦,So Beautiful,这下就相等了,是使用了urldecode,这里支持很多种编码解码方式,非常方便,真相已经出来了,secretStr是我们上面输出的第0行字符串的urldecode解码值,python3中是parse.unquote。 train_date:订哪一天的票,back_train_date:今天的时间,还有出发站和目的地。

原文发布于微信公众号 - python爬虫实战之路(gh_f26a568fdea8)

原文发表时间:2018-05-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏高性能服务器开发

libevent源码深度剖析十二 让libevent支持多线程

(1)libevent源码深度剖析一 序 (2)libevent源码深度剖析二 Reactor模式 (3)libevent源码深度剖析三 libevent基本使...

23020
来自专栏SDNLAB

SDNLAB技术分享(五):浅谈Open vSwitch移植

好了我们开始今天的主题吧!! 前一段时间自己私下一直学习Open vSwitch。起初学习Open vSwitch的目的,只是为了更好的学习OpenFlow协议...

397150
来自专栏HaHack

comment.js:一个纯JS实现的静态站点评论系统

28840
来自专栏腾讯Bugly的专栏

Android 内存优化总结&实践

导语 智能手机发展到今天已经有十几个年头,手机的软硬件都已经发生了翻天覆地的变化,特别是Android阵营,从一开始的一两百M到今天动辄4G,6G内存。然而大部...

59070
来自专栏C#

NodeJS异步I/O解析

    在现在的项目开发中,任何一个大型项目绝对不是简简单单的采用一个种语言和一种框架,因为每种语言和框架各有优势,与其死守一个,不与取各家之所长,依次得到一个...

31490
来自专栏Coding迪斯尼

使用java自造TCP/IP协议栈:使用JPCAP实现数据发包

从本节开始,我们打算使用java把tcp/ip网络协议栈重新实现一遍。这是一个不小的野心,自然也是一个不小的工程,好在前面顺利完成了操作系统,编译器两门课程的实...

36240
来自专栏web编程技术分享

【手把手】JavaWeb 入门级项目实战 -- 文章发布系统 (第十二节)1.评论功能实现2.评论加载

893120
来自专栏欧阳大哥的轮子

论MVVM伪框架结构和MVC中M的实现机制

一直都有人撰文吹捧MVVM应用开发框架,文章把MVVM说的天花乱坠并且批评包括iOS和android所用的MVC经典框架。这篇文章就是想给那些捧臭脚的人们泼泼冷...

11430
来自专栏Google Dart

AngularDart4.0 高级-层级依赖注入器 顶

在Dependency Injection指南中你学会了基础的Angular依赖注入. Angular有一个层级依赖注入 系统. 实际上是一个与组件树相平行的...

6810
来自专栏ytkah

保存一下dedecms数据库表和字段说明,方便日后查询

玩dedecms有一段时间,对它的字段不是很了解,在此做个记录,方便日后查询 dede数据库字段说明: dede_addonarticle 附加文章...

28840

扫码关注云+社区

领取腾讯云代金券