大家好,我又来了,我是银牌厨师豆腐!
我们总是在爬啊爬,爬到了数据难道只是为了做一个词云吗?
当然不!这次我就利用flask为大家呈现一道小菜。
Flask是python中一个轻量级web框架,相对于其他web框架来说简单,适合小白练手。使用Flask+爬虫,教大家如何实时展示自己爬下来的数据到网页上。
先给大家展示一下这个丑丑的网页
(给个面子,别笑)
演示三个功能
整个流程就是简单的三步:
爬取数据
利用实时爬取数据生成词云
利用热点推荐新闻
爬虫部分:
这次爬虫主要利用多线程方式爬取新浪新闻+网易新闻所有栏目新闻信息。
一共14个栏目,两个网站的页面信息都是通过ajax加载完成的,请求对应的栏目链接后,返回的字符串是这样的,仔细观察会发现我们要看的新闻内容被包含在里面
图2
是一个列表样式,
这时候我们就可以用函数将这个字符串处理成一个列表格式
然后下面就可以循环提取出新闻内容了,最后一步就是存储到我们的mysql数据库中
当我们建立好14个栏目的爬虫后,再来编写一个主文件main,利用简单的多线程方法启动14个文件并行爬取14个栏目的新闻
对了,爬虫之后我们还是做了词云的,哈哈哈
点击,静待片刻
今日热点词汇
flask部分:
辅材处理完成,现在我们开始做主菜部分。
, 用于渲染我们的h5页面
,这个是flask的必写项,必须先定义模块名,用于设置路由路径(转接4)
跨域请求,一般用于ajax请求,定义app路由中所有路径都适用于跨域请求
,当你想使用mytest功能时候,设置了/test作用该函数的访问路径。例:http://49.233.23.230:5000/test
,最后就是指定监听地址端口为 5000,是调试环境,用于生产环境时可更改为Flase。
这样一个个小小的Flask页面接口就完成了
接口写好了,下面我们来搞个h5页面,我们首先来建立一个简单hmtl文件(举例新闻推荐页面)
我们将从数据库中获取到的数据传入到h5文件
领取专属 10元无门槛券
私享最新 技术干货