爬取豆瓣电影top250并简单分析代码:简单分析

代码:

import requests
from bs4 import BeautifulSoup
import pymongo
import re

client = pymongo.MongoClient('localhost', 27017)
douban = client['douban']
top250 = douban['top250']

urls = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]

def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    names = soup.select('div.hd > a')
    times = re.findall('<br>(.*?)&nbsp',wb_data.text,re.S)
    places = re.findall(' / (.*?) / ',wb_data.text)
    levels = soup.select('span.rating_num')
    quotes = soup.select('span.inq')
    for name,time,place,level,quote in zip(names,times,places,levels,quotes):
        info = {
            'name': name.get_text().split('/')[0].split('\n')[1],
            'time': time.split('\n')[1].replace(' ',''),
            'place': place,
            'level': level.get_text(),
            'quote': quote.get_text()
        }
        top250.insert_one(info)

for url in urls:
    get_info(url)

实际爬取243条电影,出了一点小问题,建议大家爬取信息进入网站里面去爬会保险点,我这里懒得再重写了。然后导出excel表格,进行分析

简单分析

1.电影拿走不谢,请叫我雷锋 2.美国,日本,中国上榜电影拍前三 3.主要的电影内容:信仰,青春,科幻,情怀等 4.电影数最多的几年为1995~2013,近几年电影较少,原因大概为:虽然制片投入和电影效果越来越好,但内容却没以前那么好了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大前端开发

如何成为一个Freelancer程序员?

挂断了和美国西岸客户的Skype会议,瞥了下电脑屏幕右上角的时间,6:50,还半早不早。伸了个大大的懒腰,我走进卫生间,开始了漫漫洗漱路......

1595
来自专栏飞总聊IT

大数据那些事(5):沉没的微软以及Dryad

到目前为止,我大致上是按照年代的顺序来讲述故事,除了刻意的延迟了对Google第三架马车的叙述。但是接下来的文章,出于逻辑的考虑,可能会更加的前后错开一些。大数...

3607
来自专栏镁客网

微软推出VR系统“FlashBack”,号称能提高移动VR用户体验

1102
来自专栏机器人网

牛人大作!从收音机变成机器人的过程

我是那种会留下所有损坏的电子设备的人,因为我有可能会在某天用到这些东西。我有一张坏了的CD,一个磁带盒和一个别人送我的收音机,它会随机地保持关机状态。事实证明,...

2625
来自专栏镁客网

福特获得无人驾驶警车专利,可自动开“罚单” | 热点

1462
来自专栏灯塔大数据

观点|打车不再加价?大数据说可以有

高峰期打车的供求关系不均衡的问题,一直被诟病。是否可以把打车看成一个推荐系统和一个广告系统,通过预估转化率,结合乘客的竞价来分配给相应的司机呢? ? 起晚了,...

3394
来自专栏企鹅号快讯

8代酷睿迎新成员 i5-8500现身Sandra数据库

(原标题:永别牙膏!Intel主流六核升级:i5-8500首曝) 去年下半年,Intel发布了第八代酷睿Coffee Lake,一举将主流市场从多年的4+2核心...

1888
来自专栏程序员互动联盟

【技术指南】成为更优秀开发者的10条途径

我读过好多“成为更优秀开发者的方法”的文章,它们大部分似乎写于10年前。但大部分仍然很明智,因此我在这篇文章中提取出我认为的最好的10条途径。你可以随时看看。 ...

3295
来自专栏飞总聊IT

大数据那些事(5):沉没的微软以及Dryad

到目前为止,我大致上是按照年代的顺序来讲述故事,除了刻意的延迟了对Google第三架马车的叙述。但是接下来的文章,出于逻辑的考虑,可能会更加的前后错开一些。大数...

37610
来自专栏大数据文摘

每天记录一件开心的事,736天后回看数据我学到了…

1603

扫码关注云+社区