文章介绍并整理了一直在维护的一个小项目:京东价格监控,并详细整理了该项目前前后后几次重构的技术选型,作为一篇总结。
在京东购物时,你是否遇到如下情况:
现在,一个基于python爬虫的实时价格监控网站上线了,你要做的仅仅是打开浏览器,输入:
pricemonitor.online
设置商品ID(京东商品编号)和您的预期价格,当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。
用户订阅某品类后(例如数码大类),该类所有商品中降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。
2017年,我当时入门Python语言,学着一步步写网页爬虫,后来接触到了Python后台开发,之后便萌生了做一个与爬虫结合的前后端项目作为练手,最后想到的就是电商商品的爬取。
但是,就算在几年前,信息整合的网站就已经非常多了。国内的商品优惠信息整合网站大多是以什么值得买、惠惠购物助手等信息流推荐+商品历史价格查看这种方式运营。想要做到有自己的特色,就必须做点不一样的。
于是我决定将爬虫作为监控手段,监控商品的实时价格。
实际上,拿京东举例,京东在当时就已经有了自己的降价提醒,但实际效果并不好,主要问题出在时效性上。用自营商品设置价格提醒后,在京东秒杀时不提醒,在正常显示价格调整后往往在3.4个小时后才能收到提醒邮件。
于是,我从单个商品的监控下手,开始了这个小项目(与其说是项目,不如说仅仅是一个小脚本)。
网站需求很简单,整个一代目架构总结如下:
爬虫组件:就是个简单的Python脚本,加上了定时循环。
数据库:采用了最轻量的Sqlite,不需要客户端和服务,单文件保存。
Web端:后台我采用了网上推荐的Flask,前端只套用了HTML模板。 Flask中,涉及到使用Flask-Admin,Flask-Login,Flask-SQLAlchemy,Flask-WTF等组件,搭建了用户注册登录系统。
爬虫开源:https://github.com/qqxx6661/Price-monitor
Flask+HTML开源:https://github.com/qqxx6661/flask_yzd
从现在的眼光来看,相比于Python中的Django,我认为Flask对于新上手后台的小白来说,并不能称得上是很好的入门框架。至于我为什么这么认为,这就涉及到Flask和Django的区别了,我摘抄一段答案在这里:
Flask
Django
我认为对于小白来说,可以先熟悉Django,我觉得:
如果让我推荐纯小白开始学Python后台开发,我会建议他从Django开始,在深入去了解Flask。
说回我的网站,网站初步上线后,我在自己的博客上还有Github上做了些宣传。陆续每天都有几个人来访问我的网站,也有在Github上提Issue提建议的。不得不说,正是这些小事让我看到了项目的活力,让我也拥有了更大的编码热情。
但由于学校的科研任务紧,这个项目在搭建好后,就进入了漫长的维护阶段,在这个阶段中,除了几次爬虫规则的重新设计外,并没有其他业务上的改进。
大概半年后,我重新拾了起来,此时已经有一百多个注册用户了,虽然每天的使用率并不高,但是也足够让我满足了。本着学习技术的想法,我开始重构网站。
当时流行的比价插件(购物党/惠惠比价)已经开始做商品的价格监控了,并且他们做的是浏览器插件,完美嵌入浏览器,更方便用户使用,我的价格监控还需要独立的网站进行商品登记,显然已经out了。在这期间,我也萌生了品类监控的想法。
这一时期的主要改动有:
整个二代目架构总结如下:
爬虫组件:从单一的Python脚本改为Scrapy框架爬取。
数据库:使用Mysql作为商品和用户数据库
Web端:Django,Django大而全,使用到了Django自带的后台管理,数据库ORM,登录验证,Session,邮件等子模块
18年的秋招,对我来说试一次一场难忘的经历,详情可以看我的秋招文章。秋招我主要是寻找Java后台开发的工作,所以钻研了一段时间的Spring,加之之前的实习经历,开发过实际的SSM项目,对于后台开发,尤其是web后台开发有了更加深刻和广阔的认识,。于是,我打算对电商监控网站进行第三次重构,当然,这次的重点主要是用Spring全家桶替代Django。
此外,为了应用前后台分离思想,我找了一个帅哥同学帮我写React前端,整个项目一下子就有模有样起来。
这一时期的主要改动有:
整个三代目架构总结如下:
这个项目有很多的不足,我也一边编码一边总结。
现在我的TODO List:
时至今日,这个项目的两个功能可能都能找到更好的替代产品,毕竟一个人的精力有限,无法将所有想法都体现在程序上。但是这个项目我还会坚持下去,它已经成为了我技术的试验田,也成为了我继续学习的动力。