专栏首页后端技术漫谈[个人项目]电商价格监控——项目介绍和架构演变

[个人项目]电商价格监控——项目介绍和架构演变

前言

文章介绍并整理了一直在维护的一个小项目:京东价格监控,并详细整理了该项目前前后后几次重构的技术选型,作为一篇总结。

网站介绍

在京东购物时,你是否遇到如下情况:

  • 心仪的商品降价了,你却一无所知,等发现后早已断货。
  • 你设置了京东自带的降价提醒,结果在降价后很久才收到邮件提醒或者干脆没有提醒,错失抢购良机。
  • 网上各种折扣信息,各种折扣网站,却总是不能选择关注指定商品
  • 想买手机/电脑/耳机等类别商品,想知道整个京东上手机/电脑/耳机类目实时折扣力度最大的商品。

现在,一个基于python爬虫的实时价格监控网站上线了,你要做的仅仅是打开浏览器,输入:pricemonitor.online

网站功能

一:自定义商品监控

设置商品ID(京东商品编号)和您的预期价格,当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。

二:品类商品订阅

用户订阅某品类后(例如数码大类),该类所有商品中降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。

网站架构演变

小白期:Flask+HTML模板+Python脚本

2017年,我当时入门Python语言,学着一步步写网页爬虫,后来接触到了Python后台开发,之后便萌生了做一个与爬虫结合的前后端项目作为练手,最后想到的就是电商商品的爬取。

但是,就算在几年前,信息整合的网站就已经非常多了。国内的商品优惠信息整合网站大多是以什么值得买、惠惠购物助手等信息流推荐+商品历史价格查看这种方式运营。想要做到有自己的特色,就必须做点不一样的。

于是我决定将爬虫作为监控手段,监控商品的实时价格。

实际上,拿京东举例,京东在当时就已经有了自己的降价提醒,但实际效果并不好,主要问题出在时效性上。用自营商品设置价格提醒后,在京东秒杀时不提醒,在正常显示价格调整后往往在3.4个小时后才能收到提醒邮件。

于是,我从单个商品的监控下手,开始了这个小项目(与其说是项目,不如说仅仅是一个小脚本)。

网站需求很简单,整个一代目架构总结如下:

爬虫组件:就是个简单的Python脚本,加上了定时循环。 数据库:采用了最轻量的Sqlite,不需要客户端和服务,单文件保存。 Web端:后台我采用了网上推荐的Flask,前端只套用了HTML模板。 Flask中,涉及到使用Flask-Admin,Flask-Login,Flask-SQLAlchemy,Flask-WTF等组件,搭建了用户注册登录系统。

爬虫开源:

https://github.com/qqxx6661/Price-monitor

Flask+HTML开源:

https://github.com/qqxx6661/flask_yzd

从现在的眼光来看,相比于Python中的Django,我认为Flask对于新上手后台的小白来说,并不能称得上是很好的入门框架。至于我为什么这么认为,这就涉及到Flask和Django的区别了,我摘抄一段答案在这里:

Flask

  • Flask与关系型数据库的配合使用不弱于Django,而其与NoSQL数据库的配合远远优于Django
  • 自由、灵活,可扩展性强,开发时可以结合自己最喜欢用的第三方库
  • 适用于小型网站
  • 适用于开发web服务的API
  • 开发大型网站无压力,但代码架构需要自己设计
  • 各方面性能均等于或优于Django
  • Flask比Django更加Pythonic,与Python的philosophy更加吻合

Django

  • 太重了,灵活和自由度不够高
  • Django能开发小应用,但总会有“杀鸡焉用牛刀”的感觉
  • Django自带的Admin好评如潮
  • Django的自带ORM非常优秀
  • Django自带的模板引擎
  • Django自带ORM也使Django与关系型数据库耦合度过高,如果想使用MongoDB等NoSQL数据,需要选取合适的第三方库
  • Django非常适合企业级网站的开发:快速、靠谱、稳定
  • Django上手也比较容易,开发文档详细、完善,相关资料丰富
  • Django目前支持Jinja等非官方模板引擎

我认为对于小白来说,可以先熟悉Django,我觉得:

  • Flask其实和Spring(或者说Springboot)有异曲同工之妙,两者依靠官方的第一方库和网络上的第三方库,来构建一个完整的系统。对于新手来说,跟着教程上手,很容易在各种库的组装中迷失了自己,各种兼容冲突,各种版本匹配,都会让新手摸不到头脑。我也深受其害,两个月之后我再拾起代码,对于之前是如何将各个库进行整合的,忘得一干二净。
  • Django虽然重,但胜在能让小白对各个系统(管理后台,用户系统,登录注册,邮箱验证,数据库ORM等)都有直观且实际的概念,知道各个系统在一个web项目中应该发挥的作用。

如果让我推荐纯小白开始学Python后台开发,我会建议他从Django开始,在深入去了解Flask。

说回我的网站,网站初步上线后,我在自己的博客上还有Github上做了些宣传。陆续每天都有几个人来访问我的网站,也有在Github上提Issue提建议的。不得不说,正是这些小事让我看到了项目的活力,让我也拥有了更大的编码热情。但由于学校的科研任务紧,这个项目在搭建好后,就进入了漫长的维护阶段,在这个阶段中,除了几次爬虫规则的重新设计外,并没有其他业务上的改进。

过渡期:Django+Bootstrap+Scrapy爬虫框架+代理池

大概半年后,我重新拾了起来,此时已经有一百多个注册用户了,虽然每天的使用率并不高,但是也足够让我满足了。本着学习技术的想法,我开始重构网站。

当时流行的比价插件(购物党/惠惠比价)已经开始做商品的价格监控了,并且他们做的是浏览器插件,完美嵌入浏览器,更方便用户使用,我的价格监控还需要独立的网站进行商品登记,显然已经out了。在这期间,我也萌生了品类监控的想法。

这一时期的主要改动有:

  • 从Flask转为Django,前端使用Bootstrap代替原生HTML模板
  • 采用Scrapy分布式爬虫框架爬取整个品类的商品
  • 采用代理池提高整体采集效率

整个二代目架构总结如下:

爬虫组件:从单一的Python脚本改为Scrapy框架爬取。 数据库:使用Mysql作为商品和用户数据库 Web端:Django,Django大而全,使用到了Django自带的后台管理,数据库ORM,登录验证,Session,邮件等子模块imageimage

稳定期:Springboot+React+Scrapy爬虫框架+代理池+任务队列

18年的秋招,对我来说试一次一场难忘的经历,详情可以看我的秋招文章。秋招我主要是寻找Java后台开发的工作,所以钻研了一段时间的Spring,加之之前的实习经历,开发过实际的SSM项目,对于后台开发,尤其是web后台开发有了更加深刻和广阔的认识,。于是,我打算对电商监控网站进行第三次重构,当然,这次的重点主要是用Spring全家桶替代Django。

此外,为了应用前后台分离思想,我找了一个帅哥同学帮我写React前端,整个项目一下子就有模有样起来。

这一时期的主要改动有:

  • 使用Springboot代替Django作为后台,向前端提供API
  • 使用React作为前端,接受JSON数据
  • 改用任务队列发送邮件
  • 代理池支持免费代理,收费代理
  • 免费代理使用Github明星开源项目:https://github.com/jhao104/proxy_pool

整个三代目架构总结如下:

  • web网站:Springboot提供接口+React前端页面
    • Springboot(Api)+ Mysql(用户数据)+ React(前端)
    • 表结构设计、Mybaits、Swagger2、Spring Security + JWT、Spring Cache、跨域、数据库定时备份
  • 爬虫:Scrapy分布式爬虫框架
    • Requests/Selenium(爬取)、Mysql(商品信息)、Scrapy + Redis(分布式爬虫)
    • 反爬策略、IP代理、Scrapy自定义中间件、Headless Chrome网页渲染
  • 监控:Python脚本+Celery任务队列
    • Supervisor(守护进程)、Crontab(定时监控脚本)、Celery任务队列(提醒邮件)

未来

这个项目有很多的不足,我也一边编码一边总结。

现在我的TODO List:

xDocker化各个模块

x全局搜索

xQQ微信登录

x价格曲线

x推广链接

x添加更多商品

x

时至今日,这个项目的两个功能可能都能找到更好的替代产品,毕竟一个人的精力有限,无法将所有想法都体现在程序上。但是这个项目我还会坚持下去,它已经成为了我技术的试验田,也成为了我继续学习的动力。

关注我

我的Csdn:

http://blog.csdn.net/qqxx6661

我的知乎:

https://www.zhihu.com/people/yang-zhen-dong-1/

我的简书:

https://www.jianshu.com/u/b5f225ca2376

我的个人公众号:Rude3Knife

本文分享自微信公众号 - Rude3Knife(Rude3Knife),作者:蛮三刀把刀

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [菜鸟SpringCloud实战入门]第九章:服务网关Zuul体验

    欢迎来到菜鸟SpringCloud实战入门系列(SpringCloudForNoob),该系列通过层层递进的实战视角,来一步步学习和理解SpringCloud。

    Rude3Knife的公众号
  • Java后端开发知识点快速复习手册全导航

    我是蛮三刀把刀,目前为后台开发工程师。主要关注后台开发,网络安全,Python爬虫等技术。

    Rude3Knife的公众号
  • Java容器(List、Set、Map)知识点快速复习手册(中)

    http://wiki.jikexueyuan.com/project/java-collection/hashmap.html

    Rude3Knife的公众号
  • [个人项目]电商价格监控——项目介绍和架构演变

    文章介绍并整理了一直在维护的一个小项目:京东价格监控,并详细整理了该项目前前后后几次重构的技术选型,作为一篇总结。

    后端技术漫谈
  • 管理后台原型设计分享- 政务管理系统

    现如今,越来越多的团队开始注重对自动化系统的使用,ERP系统(企业资源计划系统)应运而生。ERP系统是针对物资资源管理(物流)、人力资源管理(人流)、财务资源管...

    奔跑的小鹿
  • Java反射机制在UI自动化测试中的一个应用

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 获取Delphi所有类的类信息

    战神伽罗
  • 使用Kafka+Spark+Cassandra构建实时处理引擎

    Apache Kafka 是一个可扩展,高性能,低延迟的平台,允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。

    王知无
  • Swift 两个数组的交集 II - LeetCode

    给定两个数组,写一个方法来计算它们的交集。 例如: 给定 nums1 = [1, 2, 2, 1], nums2 = [2, 2], 返回 [2, 2].

    韦弦zhy
  • 如何最大化提高着陆页的转化?

    引言:本文从几个角度分析了最大化提高着陆页转换的路径。 翻译 | 张雨新 审校 | Lok 编辑 | cici 着陆页是许多消费者对网站的第一印象,且往往我们只...

    iCDO互联网数据官

扫码关注云+社区

领取腾讯云代金券