最近的电影《哪吒》绝对是风靡全国,各种“我命由我不由天”,激励着平民大众。而《上海堡垒》则彻底扑街,鹿晗也跌落神坛,流量不再。而老大哥成龙的新片《龙牌之谜》也在日前悄悄上映了,之所用悄悄是因为电影并没有做过多的宣传,低调上映。但是上映之后的口碑却不敢恭维,好多影迷都说,大哥老了,也开始持续拍烂片了。今天,我们就来分析下历年成龙的电影得分数据和《龙牌之谜》的评论,用数据来告诉你,真的是大哥老了,打不动了吗?
爬取的过程还是蛮简单的,直接给出代码
def get_data():
data = []
for i in range(0, 150, 25):
url = 'https://movie.douban.com/celebrity/1054531/movies?start=%s&format=text&sortby=time&role=A1' % i
res = requests.get(url).text
content = BeautifulSoup(res, "html.parser")
tbody_tag = content.find_all('tbody')
tr_tag = tbody_tag[1].find_all('tr')
for tr in tr_tag:
tmp = []
name = tr.find('a').text
year = tr.find('td', attrs={'headers': 'mc_date'}).text
rate = tr.find('td', attrs={'headers': 'mc_rating'}).text
tmp.append(name)
tmp.append(year)
tmp.append(rate.replace('\n', '').strip().replace('-', ''))
data.append(tmp)
return data
if __name__ == '__main__':
data = get_data()
print(data)
with open('jack_data.csv', 'w', encoding='utf-8') as f:
f.write('name,year,rate\n')
for d in data:
try:
rowcsv = '{},{},{}'.format(d[0], d[1], d[2])
f.write(rowcsv)
f.write('\n')
except:
continue
数据拿到之后,我们再做些简单的数据处理,去除掉 rate 为空的数据,和一些异常数据
df = pd.read_csv('jack_data.csv')
df.isnull().sum() # 查看缺失值情况
df_copy = df.copy()
df_copy.dropna(how='any', inplace=True) # 去掉缺失值
# 去掉异常值
except_data = df_copy[df_copy['name'].apply(lambda x: x == '喜剧之王')].index
df_copy.drop(except_data, inplace=True)
成龙大哥的高分电影,多集中在早年。大多数电影的评分,都几种在6-7分上下浮动。而近些年的几部电影,口碑都不是很好,有持续下滑的趋势。
成龙大哥的电影,最高得分为《龙争虎斗》,8.2 分,不过这个电影好像是李小龙的呀,尴了个尬,不知道成龙在电影里干了啥,豆瓣会把这部电影分给成龙。
评分最低的是《神探蒲松龄》,只有 3.8 分。年岁增大,不能再像以前那样“功夫喜剧”了,成龙电影未来的方向在哪里呢。
而《龙争虎斗》是 1973 年上映的,《神探蒲松龄》 则是 2019 年上映的,也从侧面反映出近些年龙大哥在电影市场的不给力情况。 其实龙大哥早些年的《A 计划》,《警察故事》等都是我蛮喜欢的电影。
我们再来看看哪些年份,成龙大哥出产的电影比较多呢
1978 年,成龙出产的电影占比是最多的,总共是 6 部,接下来就是 1973、1985 和 1976 年,都是 5部电影。
我们来看下这几年电影的评分情况
1978 年
1973 年
1985 年
1976 年
可以看出来,早些年,大哥年轻的时候,无论是数量还是质量,都是比较有保证的。不过太多电影过于遥远,真心没看过啊!
虽然说,成龙电影总体评分并不是太高,最高也才 8 点几分,但是作为华语影坛的大哥级人物,大家对他的期待还是非常高的。
不管怎么说,还是希望成龙大哥能够好好保养身体,在以后的时光中,给大家带来更多好的作品。
爬一爬猫眼上《龙牌之谜》的用户评论,看看这个口碑不佳的作品,用户的想法是怎么样的
我们首先进入到猫眼,找到对应的电影,地址为:https://maoyan.com/films/343473 页面拖到最下面,发现只有10条最热门的评论,其他评论去哪了?
这里可以使用浏览器手机模式,在 Chrome 浏览器下,按 F12 打开开发者工具,再点击下图中的按钮,即可进入到手机模式
此时再重新刷新网页,发现我们已经神奇的进入到了猫眼的 M 站了
现在再拖动网页到最下部,点击查看全部评论,就可以进入到评论页面,查看全部的评论了。
接下来我们继续下拉页面,发现评论是动态加载的。此时经验就非常重要了,我们让页面多加载加载评论几次,就能够发现一个“可疑”的请求,如下
它是以 comments 命名的啊,差不多就是它了。
接下来再查看其 response,确实就是评论内容,而且是清爽的 json 数据,很开心!
我们先来观察下这个接口
http://m.maoyan.com/review/v2/comments.json?movieId=343473&userId=-1&offset=30&limit=15&ts=1567064825883&type=3
movieid 很显然就是电影的 id,不动 userid 的值为 -1,应该是我们没有登陆的原因 offset 经过尝试,相当于是 page 的作用,且每次的步长为 15 limit 应该是每次返回数据的数量 其他的参数暂时不明
我们把该接口信息放到 postman 中,尝试着调用下 我去掉了 movieid 以外的所有参数,发现是可以调用成功的
查看接口返回数据的最后面,发现一个 paging 字段
"paging": {
"hasMore": true,
"limit": 10,
"offset": 0,
"total": 2838
}
已经清楚的告诉了我们,还有更多数据("hasMore": true),每页限制为10("limit": 10),当前是第0页("offset": 0),总共的数据为2838条("total": 2838)。
最后经过测试,type = 3 会每次都会返回 hotComments 这个字段,而当 type = 2 时,则不会返回该字段,于是我选择使用 type 为2来发送请求,那么最终我决定使用的请求 url 就是如下:
http://m.maoyan.com/review/v2/comments.json?movieId=343473&offset=60&limit=15&type=2
offset 作为变量,循环替换即可。
def get_json(res):
data_list = []
res_json = json.loads(res)
data = res_json['data']['comments']
for d in data:
content = d['content']
gender = d['gender']
userLevel = d['userLevel']
score = d['score']
try:
if len(d['tagList']) == 0:
ticket = 0
elif len(d['tagList']) == 1:
if d['tagList'][0]['id'] == 4:
ticket = 1
else:
ticket = 0
elif len(d['tagList']) == 2:
ticket == 1
except:
ticket = 0
tmp = [content, gender, userLevel, score, ticket]
data_list.append(tmp)
return data_list
解析 json 就比较简单了,只要做好异常处理即可。
因为评论中有很多 emoji 表情,可以使用正则过滤掉
emoji_pattern = re.compile("["
u"\U0001F600-\U0001F64F" # emoticons
u"\U0001F300-\U0001F5FF" # symbols & pictographs
u"\U0001F680-\U0001F6FF" # transport & map symbols
u"\U0001F1E0-\U0001F1FF" # flags (iOS)
"]+", flags=re.UNICODE)
emoji_pattern1.sub(r'', str1)
最后保存数据到 csv 文件
def save_to_csv(data):
with open('maoyan_data.csv', 'w', encoding='utf-8') as f:
f.write('content,gender,userlevel,score,ticket\n')
for d in data:
try:
row = '{},{},{},{},{}'.format(d[0], d[1], d[2], d[3], d[4])
f.write(row)
f.write('\n')
except:
continue
最后得到的数据如下:
我们先来看下评论者的性别分布是怎样的
可以看出,男性观众的比例还是多一些,不过大多数人都没有设置性别,隐私工作做得很不多哦
不出所料,大部分都是 level-0的用户,普通大众最普通,天下何止千千万。
看到结果之后扎心不,打分数量最高的是0分,不知道如果可以打负分,那么情况会是怎么样
最后,我们再来做一个词云,看看评论中的高频词汇都有哪些
老规矩,不对评论做过多点评
不过还是忍不住要说一句,评论里面“好看”这个词出现的频率还是非常高的,看评论里有人说是水军,拿钱了,不知道你怎么看呢
最后给出完整代码
Part1:https://github.com/zhouwei713/douban/tree/master/jackchen
Part2:https://github.com/zhouwei713/data_analysis/tree/master/maoyan