爬取豆瓣电影top250并简单分析代码:简单分析

代码:

import requests
from bs4 import BeautifulSoup
import pymongo
import re

client = pymongo.MongoClient('localhost', 27017)
douban = client['douban']
top250 = douban['top250']

urls = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]

def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    names = soup.select('div.hd > a')
    times = re.findall('<br>(.*?)&nbsp',wb_data.text,re.S)
    places = re.findall(' / (.*?) / ',wb_data.text)
    levels = soup.select('span.rating_num')
    quotes = soup.select('span.inq')
    for name,time,place,level,quote in zip(names,times,places,levels,quotes):
        info = {
            'name': name.get_text().split('/')[0].split('\n')[1],
            'time': time.split('\n')[1].replace(' ',''),
            'place': place,
            'level': level.get_text(),
            'quote': quote.get_text()
        }
        top250.insert_one(info)

for url in urls:
    get_info(url)

实际爬取243条电影,出了一点小问题,建议大家爬取信息进入网站里面去爬会保险点,我这里懒得再重写了。然后导出excel表格,进行分析

简单分析

1.电影拿走不谢,请叫我雷锋 2.美国,日本,中国上榜电影拍前三 3.主要的电影内容:信仰,青春,科幻,情怀等 4.电影数最多的几年为1995~2013,近几年电影较少,原因大概为:虽然制片投入和电影效果越来越好,但内容却没以前那么好了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Sign

微信小游戏

好的,这种热点我是会蹭的,但是又说不出个所以然,所以简单聊两句。 微信小游戏是什么? 『不就是h5么?』 『对!没错!就是h5!』 好多技术仔跳起来,『不对!微...

3448
来自专栏企鹅号快讯

革了短信的命之后,微信开始把枪口对准了应用市场

12 月 28 日,微信宣布,新版本 6.6.1 中小程序增加了新的类目:微信小游戏,用户在更新完微信新版本之后即可进入小游戏 「跳一跳」。目前 iOS 版本已...

1787
来自专栏草根博客站长有话说

教科书级的网站用户体验指南

用户体验(User Experience,简称 UE/UX)是用户在使用产品过程中建立起来的一种纯主观感受。 但是对于一个界定明确的用户群体来讲,其用户体验的共...

744
来自专栏知晓程序

微信还能打败今日头条吗?「看一看」想试试 | 微观

1122
来自专栏罗超频道

互联网进入标签时代

最近有三个产品的改版引起了我的注意:一个是网易跟帖上线了标签功能,用户可以给其他跟帖用户打上特定标签,看上去是为了提升互动性和实现用户自运营;第二是百度图片搜索...

3409
来自专栏企鹅号快讯

微信小程序终于熬出来了,从企业到娱乐备受关注

微信自从推出小程序以来,隔一段时间就会更显它的功能,很多人只是知道小程序,它在最开始的时候也只对企业开放,而现在微信小程序终于面向大众化,经过一件时间的沉淀,从...

1905
来自专栏知晓程序

进击的微信小游戏

1513
来自专栏BestSDK

ManoMotion推出免费3D手势识别SDK ,兼容原生ios和安卓

作为一家计算机视觉技术公司,ManoMotion在日前正式推出了旗下的软件开发套件。之前,ManoMotion与他们的客户是一对一的合作模式进行的,在SDK发布...

4327
来自专栏企鹅号快讯

微信小游戏重磅上线,H5游戏和页游迎来新天地?

关注游戏的小伙伴都知道,前不久《QQ飞车》手机版上线了,一大波老司机正在上线,毕竟曾经端游的QQ飞车带给玩家无数欢乐和记忆,而这次手Q别开生面的QQ飞车H5小游...

22110
来自专栏Python绿色通道

你愿意用快应用替换你手机上的那些APP?

昨天发了一篇文章 Android冬天真的来了!,给Android应用开发者泼了一头冷水, 遭到一些读者的diss ,但Android开发遇冷已经是不争的事实了,...

1363

扫码关注云+社区