爬取 Stackoverflow 100 万条问答并简单分析

作为一个热爱编程的大学生,怎么能不知道面向 stackoverflow 编程呢。

打开 stackoverflow 主页,在 questions 页面下选择按 vote 排序,爬取前 20000 页,每页将问题数量设置为 50,共 1m 条,(实际上本来是想爬完 13m 条的,但 1m 条后面问题基本上都只有 1 个或 0 个回答,那就选取前 1m 就好吧)

实际上用数据库去重后只有 999654 条问答信息

对爬取数据进行简单分析

votes 分析

降序排列了 votes 数,生成折线图

Votes折线图

2k 后的问题的 votes 数基本上就已经在 400 以下了,接着后面的就基本上是贴地飞行了 votes 数最多 : Why is it faster to process a sorted array than an unsorted array?

votes 数的连续分布情况

votes甘特图

可见最多的还是集中在 1-2K 之间,从 6k 开始基本上就断层了

具体数据

description

count

votes >= 500

1630

votes >= 400

2325

votes >= 300

3782

votes >= 200

7062

votes >= 100

19781

如果以 100 为分界线的话,会得到这样的一个饼图

大于 100 的连 %2 都不到

再来看看底层的数据

description

count

1 <= votes <= 5

211804

6 <= votes <= 10

430935

11 <= votes <= 15

136647

16 <= votes <= 20

64541

votes <= 20

843927

可见 votes 小于 20 的,数量高达 84m

看看总体的比例吧

answer分析

降序排列了 answers 数,生成折线图

很明显 3k 之后的 answers 数基本上就小于 20 了 answers 数最多: What is the best comment in source code you have ever encountered?

answer数的连续分布情况

answers甘特图

150 后也就断层了,实际上能达到这样的回答数极少

具体数据

description

count

answers >= 5

218059

answers >= 10

34500

answers >= 20

3808

answers >= 30

968

大于 30 的确实少的可怜,看看总体情况

views 分析

降序排列了 views 数,生成折线图

views折线图

最高达到了 4.5m,100000 以后的基本上就不足 28000 了 views 数最多: How to undo last commit(s) in Git?

views 数的连续分布情况

views甘特图

具体数据

description

count

views >= 5000

486466

views >= 10000

315576

views >= 20000

171873

views >= 50000

59363

views >= 100000

22224

views >= 200000

7030

大部分问答的 views 数还是集中在 20000 以内 还是得看看总体分布

再看看 votes,views,answers 三者的散点图对应情况

votes - views

votes - answers

views - answers

views-answers散点图

总的来说,这三者对应关系类似于一个金字塔。三个图基本上都是左下角靠近原点的区域被填满,也就是说绝对大部分的问题的 votes,answers 和 views 都是属于最下层的。高质量活跃的问题是处于金字塔顶端的。三者的最高数好像也没特别明显的对应关系,且三者的最高数都不是同一个问题。

根据所有问题的 tags 提取出总量前 200 的关键词(前 50 条如下),第 1 名是 c#,python 排在第 5

('c#', 94614),
('java', 93244),
('javascript', 76722),
('android', 69321),
('python', 62502),
('c++', 58173),
('php', 42596),
('ios', 37773),
('jquery', 37405),
('.net', 36180),
('html', 28536),
('css', 26174),
('c', 24699),
('objective-c', 23253),
('iphone', 22171),
('ruby-on-rails', 20143),
('sql', 19171),
('asp.net', 18060),
('mysql', 17559),
('ruby', 16397),
('r', 15670),
('git', 13139),
('linux', 13080),
('asp.net-mvc', 12857),
('angularjs', 12606),
('sql-server', 12473),
('node.js', 12212),
('django', 11576),
('arrays', 11006),
('algorithm', 10959),
('wpf', 10631),
('performance', 10619),
('xcode', 10613),
('string', 10426),
('windows', 10132),
('eclipse', 10117),
('scala', 9942),
('regex', 9685),
('multithreading', 9601),
('json', 9266),
('swift', 8950),
('c++11', 8939),
('haskell', 8823),
('osx', 8159),
('visual-studio', 8140),
('html5', 7627),
('database', 7567),
('xml', 7478),
('spring', 7464),
('unit-testing', 7253),
('bash', 6825)

这样看好像不太直观,所以就把它根据词频生成了词云

因为是用 Python 写的爬虫,所以重点来分析下 Python 类的问答

votes 数前 10

  • 6162 : What does the “yield” keyword do in Python?
  • 3529 : What is a metaclass in Python?
  • 3098 : How do I check whether a file exists using Python?
  • 3035 : Does Python have a ternary conditional operator?
  • 2620 : Calling an external command in Python
  • 2605 : What does if name == “main”: do?
  • 2194 : How to merge two Python dictionaries in a single expression?
  • 2123 : Sort a Python dictionary by value
  • 2058 : How to make a chain of function decorators?
  • 1984 : How to check if a directory exists and create it if necessary?

answers 数前 10

  • 191 : Hidden features of Python [closed]
  • 87 : Best ways to teach a beginner to program? [closed]
  • 55 : Favorite Django Tips & Features?
  • 50 : How do you split a list into evenly sized chunks?
  • 44 : Calling an external command in Python
  • 43 : How can I represent an 'Enum' in Python?
  • 38 : How to merge two Python dictionaries in a single expressions
  • 38 : Finding local IP addresses using Python's stdlib
  • 37 : Reverse a string in python without using reversed or [::-1]
  • 37 : How do I check whether a file exists using Python?

views 数前 10

  • 2121621 : Parse String to Float or Int
  • 1905938 : Using global variables in a function other than the one that created them
  • 1888666 : How do I check whether a file exists using Python?
  • 1827126 : Calling an external command in Python
  • 1699574 : Converting integer to string in Python?
  • 1686230 : How do I read a file line-by-line into a list?
  • 1682307 : Iterating over dictionaries using 'for' loops in Python
  • 1569205 : How to get the size of a list
  • 1554755 : How do I install pip on Windows?
  • 1515505 : Finding the index of an item given a list containing it in Python

三者的前 10 中有 2 个问题是完全重叠的,分别是

  • How do I check whether a file exists using Python?
  • Calling an external command in Python

原文发布于微信公众号 - Python爬虫与算法进阶(zhangslob)

原文发表时间:2017-07-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

教程 | 如何使用JavaScript构建机器学习模型

选自:hackernoon 作者:Abhishek Soni 参与:李泽南 目前,机器学习领域建模的主要语言是 Python 和 R,前不久腾讯推出的机器学习框...

34660
来自专栏机器学习算法与Python学习

数据压缩与信息熵

数据压缩与信息熵 1992年,美国佐治亚州的WEB Technology公司,宣布做出了重大的技术突破。该公司的DataFiles/16软件,号称可以将任意大于...

363120
来自专栏数据科学与人工智能

【Python环境】可爱的 Python: 自然语言工具包入门

鄙人并非见多识广,虽然写过很多关于 文本处理 方面的东西(例如,一本书),但是,对我来说, 语言处理(linguistic processing) 是一个相对新...

35280
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

SSE图像算法优化系列五:超高速指数模糊算法的实现和优化(10000*10000在100ms左右实现)。

      今天我们来花点时间再次谈谈一个模糊算法,一个超级简单但是又超级牛逼的算法,无论在效果上还是速度上都可以和Boxblur, stackblur或者是G...

426100
来自专栏Crossin的编程教室

【编程课堂】jieba-中文分词利器

0、前言 在之前的文章【编程课堂】词云 wordcloud 中,我们曾使用过 jieba 库,当时并没有深入讲解,所以本次将其单独列出来详细讲解。 jieba库...

386110
来自专栏深度学习之tensorflow实战篇

数据挖掘PageRank算法(网页排名原理)及Map-Reduce实现

方法/步骤 1 一、什么是pagerank PageRank的Page可是认为是网页,表示网页排名,也可以认为是Larry Page(google...

48090
来自专栏落影的专栏

基于视锥体(平截体)的OpenGL ES性能优化

教程 OpenGLES入门教程1-Tutorial01-GLKit OpenGLES入门教程2-Tutorial02-shader入门 OpenGLES入门...

35870
来自专栏机器学习算法与Python学习

神经网络图灵机

摘要 本文通过引入一个使用注意力程序进行交互的外部存储器(external memory)来增强神经网络的能力。新系统可以与图灵机或者冯·诺依曼体系相类比,但每...

35590
来自专栏PPV课数据科学社区

数据挖掘系列(4)使用weka做关联规则挖掘

前面几篇介绍了关联规则的一些基本概念和两个基本算法,但实际在商业应用中,写算法反而比较少,理解数据,把握数据,利用工具才是重要的,前面的基础篇是对算法的理解,这...

53060
来自专栏媒矿工厂

基于MCMC的X265编码参数优化方法

新一代视频编码标准,包括高效视频编码HEVC和音频视频编码标准AVS2近年来已被提出以进一步提高H.264/AVC编码标准的压缩性能。在相同的主观视觉的前提下,...

35130

扫码关注云+社区

领取腾讯云代金券