专栏首页灯塔大数据大数据显示好莱坞从没使用过一样的剧情(真实的数据分析研究案例)

大数据显示好莱坞从没使用过一样的剧情(真实的数据分析研究案例)

导读:我的一个学生提出了一个有趣的问题。在众多动作电影中,是否存在某些特定的剧情元素和票房有关联呢?这个问题是可以解决的,因为我们的数据库中有一个叫‘剧情关键词’的变量。(文末更多往期译文推荐)

关键词是在单一的一列中作为pipe-delimited格式给出的.举个例子,有一栏有这些关键词

“加勒比/诅咒/总督/海盗/不死人”。听起来像是Johnny Depp的电影。

当然,第一步工作是把关键词分开。我们需要把这些单词转换成虚拟变量(有加勒比记为1,没有则是0).所有的分析软件都有这样的功能。如果用Python,可以使用Split函数。如果用JMP,有一个很好的内置函数可以将这种格式转化为虚拟变量,只需要点击一次即可。

现在关键词已经转化为超过1000列了,每一列都和一个具体的关键词有关。

理论上,我们可以用回归分析,树状分析或者其他任何我们喜欢的方法。

如果这很简单,我就不会说这个了。像常说的一样,我们必须注意我们的数据。我分析了一些统计分布,但有些让我困惑的内容。

如果数据是可信的,现在的结果是 "abduction(绑架)" and "action hero(动作英雄)等词在400部动作电影数据库中只出现了一至两次。

下面是关键词出现频率的整个柱状图。

只有大约二十个关键词在至少10部电影里出现过: Murder. FBI. Police.Scientist. Assassin. Death. Alien. Future. Battle. CIA. Rescue. Spy. Superhero.Warrior. Escape. Martial Arts. Prison. Revenge. Terrorist. Vampire.(谋杀,美国联邦调查局,警察,科学家,杀手, 死亡。外国人。未来。战斗。中央情报局。拯救。间谍。超级英雄。战士。逃逸。武术。监狱。复仇。恐怖分子。吸血鬼 ...)

这时候分析师脑子里的警报就该打响了。只有11部电影和吸血鬼有关?11部和武术有关?12部和超级英雄有关?

我让我的学生查看这些数据是怎么被收集的。去看关键词是否有一些特殊的筛选条件。去IMDB的网页上查看代码究竟在做什么。

最后我们发现了什么?(你发现问题了吗!)这里是一个IMDB的截图,我们从这个网页上获得加勒比海盗的关键词。

我有一个点开我想点开链接的坏习惯。所以我点了‘查看所有’。一个新的世界出现在了我眼前!

所以说,Kaggle里关键词数据库是完全没用的。Kaggle包括了五到六个关键词,而每部电影整个列表有一百多个关键词。这至少部分解释了为什么关键词出现的这么特别,少有重复。

一想到有多少人用这个数据库分析时,我就很受伤,他们还用这个错误的数据库建模研究。

回到课堂作业上,这个学生现在有麻烦了!记住她要解决的问题是找到哪些剧情元素和关键词有关,哪些关键词可以预测剧情。现在这些关键词确实严重,我们要立即改变方向,解决一个不需要使用关键词的问题。

文章翻译:灯塔大数据 文章编辑:柯一

本文分享自微信公众号 - 灯塔大数据(DTbigdata),作者:胡纯浩

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 全球视角下,影视行业的6大趋势!

    大数据对内容推送的影响,实时视频直播的兴起,版权交易的新风向。加拿大媒体基金(Canada Media Fund, CMF)在年中报告中对影视行业的6大新趋势...

    灯塔大数据
  • 2016互联网全行业洞察及趋势报告(完整版)

    导读 中国互联网走过了将近30年历程,自身面貌发生了巨大变化。艾瑞十几年间持续观察、解读并见证了互联网的飞速发展。2016年互联网全行业洞察及趋势报告《润物有...

    灯塔大数据
  • 我是如何得知10W+的访问量多来自工作日的 | 塔秘

    导读:有位朋友分析了一下每天某个时间发文章的访问量区别,以讨论非系统性因素对文章访问量的影响。之所以进一步讨论工作日和周末发文对文章访问量的影响,一是觉得很有...

    灯塔大数据
  • 选好关键词,务必遵循这5大原则

    在SEO工作中,如果把网站比作是一篇优秀的文章,那么关键词就是组成文章内容的重要字词。所以,在选择关键词时,一定要做到尽善尽美。接下来就详细介绍一下关键词的选择...

    神勇大师兄
  • SEO如何建立优化网站关键词词库?

    建立关键词词库,是SEO优化工作非常重要的事情。高权重的网站,必然需要强大的关键词库支持。实际上,网站权重的提升是一个增加网站词汇的过程。但大部分SEO人员,却...

    良家佐言
  • 干货 | 网站文章怎么优化

    大家都知道,做网站内容优化,文章更新是很重要的一步。但是网站的文章该怎么写呢?现在给大家说几点关于文章优化的技巧。

    耐思智慧
  • 关键词的表现形式

    关键词的表现形式就是关键词在页面中的展现形式。合理运用关键词的表现形式有利于突出页面中的重点关键词。从用户体验和大连网络营销的角度来看,不同的关键词表现形式也不...

    大金SEO
  • 灵活使用关键词分析工具

    关键词分析工具对于谷歌SEO来说必不可少,使用免费或商业关键词分析工具进行适当的关键字分析。关键词分析是非常耗时,花时间分析你的关键词,不要急于求成。关键词分析...

    林雍岷
  • 「大脸猫SEO」选择关键词时究竟该如何选择?

    简单地说,关键字就是用户在使用搜索引擎时,输入的能够最大程度概括用户所要查找的信息内容。

    大脸猫
  • 做关键词排名优化的核心是什么?

    关键词排名优化一直都是新手站长最头痛的事情,往往做了很多工作,却见效不大。下面就由耐思智慧小编给大家分享一下做关键词排名优化的核心步骤,掌握这个核心步骤再去优化...

    耐思智慧

扫码关注云+社区

领取腾讯云代金券