Python实战-解决工作中的重复工作(一)

一、背景

目前公司的项目管理采用开源项目redmine,对于redmine本文不多做介绍,有兴趣的可以自行百度了解下。

在每周周会汇报任务进度时,需要我们准备各组的项目进度,按照一定的excel模板整理,然而我们的数据,任务情况,任务进度都在redmine中体现,因此每周相当于我们有这样一个工作:

将readmine中数据导出->确认开发的进度->整理样式->统计出固定模板的Excel。

可是我想偷偷懒,不想每次都整理这个Excel,因此想用Python搞定它。

二、需求分析

目前已知的是redmine中的任务id(每次建任务时会记录在excel中)。

接下来的就是根据id去获取对应信息,包括开发人,完成时间,上线版本等等,

然后根据固定的模板保存生成Excel。

整体的需求还是比较简单明确的。

三、所要的第三方Python组件

1.Requests

有http请求,肯定需要用到Requests库啦,方便好用。

2.BeautifulSoup

需要简单的从网页上爬去一些数据,BeautifulSoup还是比较方便的

3.xlrd,xlsxwriter

excel的读写操作,通常用xlrd读,用xlsxwriter写(效率高),但对于我们这种的数据量其实用xlwt也是可以的啦。

四、正式开发

做好了相应的准备工作,现在要正式开发啦。

由于才学Python没多久,当中遇到的坑还是挺多的,下面一步一步来看吧。

1. redmine网页的攻破

遇到的第一个困难就是如何获取页面上的数据了,也算是想学爬虫的入门吧,正好可以利用这次‘偷懒’去学习一下。

首先利用Chrome分析一下redmine的登录页:

在点击登录时,FormData中除了常规的username,passw之外有个authenticity_token,想必也是为了防止CSRF。

这个authenticity_token值在哪呢?只能继续分析登录页面,还好,找authenticity_token不是特别困难,名字取的一样,全局搜一下就找到了。

这样的话,貌似问题就解决的差不多了,开始编写代码。

利用requests.session()方法保持cookie

模拟伪造下hearder头

利用Requests获取请求

利用BeautifulSoup获取页面上所要的authenticity_token

模拟构造登录的PostData,实现登陆操作

尝试请求个页面你,看下是否登录成功

可以看到,对应的页面已经返回:

五、总结

今天就总结到这里,有空再写下半段,上半段主要发现了现实工作中反复工作的事情可以利用Python进行自动化,在分析完需求和所要的技术之后进行实践。

目前已经完成redmine的模拟登陆,并且能获取到我想要的页面。之后需要对获取的页面进行筛选,取到我们所要的数据,然后整理之后保存到Excel中,这样就大功告成了。

原文发布于微信公众号 - Bug生活2048(BugLife2048)

原文发表时间:2017-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏悦思悦读

码农的瑞士军刀-脚本语言

首先声明,这里关于语言间的比较仅仅是为了说明问题。世界上没有一个开发语言有绝对的好坏,只有是否适合你当前的环境。 很多码农工作的非常辛苦,每天加班。一般情况,团...

422100
来自专栏java思维导图

大型分布式网站架构技术总结

#0 系列目录# 大型分布式网站架构 大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进...

40540
来自专栏CSDN技术头条

Uber是如何通过Mesos和Cassandra实现跨多个数据中心每秒100万的写入速度的?

每隔三十秒就会有位置数据返回,包括来自于司机和乘客应用的各类数据,需要实时使用的实时数据非常之多,那么Uber是如何存储这些位置数据的呢? Uber的解决方案非...

23590
来自专栏架构之美

实施微服务架构的关键技术

15230
来自专栏芋道源码1024

淘宝大秒系统设计详解

1. 一些数据2. 热点隔离3. 动静分离4. 基于时间分片削峰5. 数据分层校验6. 实时热点发现7. 关键技术优化点7.1 Java处理大并发动态请求优化7...

12120
来自专栏Golang语言社区

棋牌游戏服务器架构: 总体设计

首先要说明的是, 这个棋牌游戏的服务器架构参考了网狐棋牌的架构。网狐棋牌最令人印象深刻的是其稳定性和高网络负载。它的一份压力测试报告上指出:一台双核r的INTE...

1.6K70
来自专栏竹清助手

如何构建高扩展性网站?

  本书从多个方面围绕高扩展性提出了50条建议,一个高扩展性的网站会随着业务的发展、用户的增加,自由的扩展架构,从而轻松的应付网站的快速发展。下面看看本书的具体...

17670
来自专栏技术小黑屋

Google Play Services 7.5新增API及多项特性

本文为 InfoQ 中文站特供稿件,首发地址为:文章链接。如需转载,请与 InfoQ 中文站联系。

14220
来自专栏菜鸟致敬

免主机搭建动态博客WordPress

之前有说到了如何利用GitHub Pages来搭建自己的静态博客hexo,今天我来说一下如何免主机搭建自己的动态博客WordPress。

22150
来自专栏数据之美

网站数据统计分析之二:前端日志采集是与非

在上一篇《网站数据统计分析之一:日志收集原理及其实现》中,咱们详细的介绍了整个日志采集的原理与流程。但是不是这样在真实的业务环境中就万事大吉了呢?事实往往并非如...

58170

扫码关注云+社区

领取腾讯云代金券