R&Python玩家诉求词云分析

作者:Fish

http://www.gamedas.com

一、数据爬虫

在实际工作中,数据的来源不能局限于自家的数据库或者成型的后台,在做某些市场分析或是竞争对手开服节奏分析的情况下,对竞争对手数据的获得显得更为至关重要,本文就以获取某大平台开服数据作为一个案例,简要的介绍另一种获取数据的方法,网络爬虫技术。

何为网络爬虫,爬虫是一个自动提取网页的程序,为搜索引擎在万维网上下载网页,是搜索引擎的重要组成部分。简单的讲就是从一个或若干个初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的某些停止条件。

本文利用爬虫收集各大平台开服数据列表上的相关数据,减去了在收集开服数据的繁琐,以下就是一个简单爬虫及正则的例子,从某知名页游平台上抓取开服数据。爬起中文数据常有的问题就是不规格的编码模式,这需要在程序的编写过程中注意编码转换。

在此之前简要的讲一下获取数据的另一个重要内容,正则表达式。正则表达式就是由普通字符(例如字符 a 到 z)以及特殊字符(称为元字符)组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板,将某个字符模式与所搜索的字符串进行匹配。正则表达式元字符及语法可以在http://msdn.microsoft.com/zh-cn/library/ae5bf541(VS.80).aspx详细查阅。

使用python编写爬虫程序,导入相应的模块urllib2,使用urlopen下载网页,在网页中使用正则获得想要获得相应的数据。

简要的介绍urllib2模块中用到的方法,

urllib.urlopen(url[, data[, proxies]]) :

url: 表示远程数据的路径

data: 以post方式提交到url的数据

proxies:用于设置代理

urlopen返回对象提供方法:

read() , readline() ,readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样

info():返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息

getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到

geturl():返回请求的url

import urllib2

import re

msg=urllib2.urlopen('http://www.****.com/').read()

res=re.findall('tr>[\s\S]*?target=\"_blank\" class=\"cred\">(.*?)</a></td[\s\S]*?target=.*?class=.*?>(.*?)</a></td>[\s\S]*?<td >(.*?)</td>',msg)

for res1 in res:

for res2 in res1

print res2.decode('utf-8')

用MySQL储存数据,先要在自己的数据库里建立一个空表,这里我建立了一个名为KFdata的数据库,表名为data_one,相应的在python中导入相应的MySQL模块,并与相应数据库连接,将数据写入数据库。

import MySQLdb

db=MySQLdb.connect(host="localhost",user="root",password="123456",db="KFdata",use_unicode=1,charset='utf-8')

cursor=db.cursor()

for i in range(20):

cursor.execute("insert into data_one values(%s,%s,%s,%s,%s,%s,%s,%s)",(id[i],'h',index[i],time1[i],size[i],hit[i],lz[i],title1[i]))

二、玩家诉求词云分析

在实际游戏运营工作中,游戏从业人员除了关注游戏体验,游戏各系统设计,运营活动,游戏数据表现等等以外,玩家反馈及玩家诉求也是各位同行重点关注的内容。时下这种客服机制难以支撑运营策划人员了解玩家诉求的需求;由于玩家抵触性,运营成本受限,地域受限,时间受限等等原因,运营策划人员也难以通过自身主动了解来满足这一需求。Fish旨在介绍一种简便的方法(词云分析)有效的解决这一困境,不单单让玩家体验游戏,也能更好的让玩家诉求成为游戏版本策划,运营活动策划的考虑因素。

  1. 问题背景:从玩家评论中,获得玩家诉求中的关键词,进而了解玩家情感,玩家需求
  2. 数据获取:借助Python强大的爬虫模块(urllib2&Tornado),抓取9游上海岛奇兵(http://www.9game.cn/hdqb/)的玩家评论数据(1000条)。

简单代码如下:

#!/usr/bin/python

#coding:utf-8

import tornado.httpclient

import re

import pandas as pd

import sys

reload(sys)

sys.setdefaultencoding('utf8')

comment_utf8 = []

url='http://www.9game.cn/tpl/pc/common/commentajax.html?count=1000&total=10003&gameid=539038&platform_id=2&offset=20&isAjax=1'

http_header = {'User-Agent':'Chrome'}

http_request = tornado.httpclient.HTTPRequest(url=url,method='GET',headers=http_header)

http_client = tornado.httpclient.HTTPClient()

http_response = http_client.fetch(http_request)

body = http_response.body

commentId=re.compile('<li commentId=\"(.*)\">').findall(body)

comment_time=re.compile('<span class=\"time\">(.*)<\/span>').findall(body)

comment=re.compile('<p class=\"text\">(.*)<\/p>').findall(body)

for item in comment:

item.decode('utf8')

comment_utf8.append(item)

result = pd.DataFrame([commentId,comment_time,comment]).T

print result

result.to_csv(r'C:\Users\Administrator\Desktop\fish\short.csv')

  1. 数据简单描述

利用R强大的描述统计能力,获得近期玩家评论趋势

由上图可见,海岛奇兵的评论数每天保持在20以上,说明这款游戏在上线将近一年之后仍保持这玩家高关注度。

  1. 分词分析&词云分析

借助强大的数据分析语言R,及其丰富的统计分析工具包,进行文本分词及词云分析,此处会使用到Rwordseg包及wordcloud包。安装这两个包还是挺麻烦的,如果有兴趣的同学遇到什么麻烦可以加入Gamedatas游戏分析群(90342017)咨询Fish。

部分R代码如下:

f_cut <- function(x) {

library(Rwordseg)

unlist(strsplit(segmentCN(x, nature = T), " "))

}

word_cut <- function(x, n = 1) {

x <- gsub("[a-z]|\\.", "", x)

x[nchar(x) > n]

}

comment.words <- lapply(comment, f_cut)

words <- lapply(comment.words, word_cut, 1)

# 去掉words词汇量为0的文本

cw.len <- unlist(lapply(words, length))

short2 <- short[cw.len > 0, ]

words2 <- words[cw.len > 0]

cw.len <- cw.len[cw.len > 0] #8028

# 词频统计

all.words <- unlist(words2)

freq <- sort(table(all.words), decreasing = T)

words.name <- names(freq)

words.freq <- freq[]

sum(words.freq[1:50])/sum(words.freq)

# 词长至少为1

w3 <- all.words[nchar(all.words) > 1]

f3 <- sort(table(w3), decreasing = T)

w3.name <- names(f3)

w3.freq <- f3[]

par(mar = c(0, 0, 3, 0), bg = "black")

wordcloud(words.name, words.freq, scale = c(5, 1.5), min.freq = 1, max.words = 100, colors = rainbow(130))

title(main = "评论出现频率最高的100个词汇", col.main = "red")

结果如图:

从词云分析的结果中可以看出,“好玩”这一词汇在玩家评论中曝光程度最高,达到152次,在出现频数最高的词汇中,褒义词居多。而“流量”,“Wifi”这种词汇的出现也不容忽视,其频数也分别达到了16和12次,侧面反映了玩家在体验过程中存在受网络因素的影响。“2275866599”这一词汇的出现,也反映了在实际评论信息中存在这水军,噪声信息这一因素,可以在处理数据时做剔除处理 。

就此,这样一个分析玩家诉求的思路就阐述完毕了,希望能在实际工作中帮助到运营策划人员了解玩家诉求。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-12-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java工会

每个程序员都应该了解的十句话

我们可以因为掌握了最新的JavaScript框架Ahem、Angular的IoC容器技术或者某些编程语言甚至操作系统而欢欣雀跃,但是这些东西并不是作为程序员的我...

980
来自专栏跨界架构师

如何一步一步用DDD设计一个电商网站(三)—— 初涉核心域

    结合我们本次系列的第一篇博文中提到的上下文映射图(传送门:如何一步一步用DDD设计一个电商网站(一)—— 先理解核心概念),得知我们这个电商网站的核心域...

1031
来自专栏大数据和云计算技术

实用调度工具Airflow

引言 前面写过一篇文章《端午搬砖:聊聊调度云服务》,主要讲云服务的。如果企业也业务上云,可以优先选用这些服务,减少工作量。 而在传统企业内部,数据集成是基础,更...

5526
来自专栏IT派

Python项目可以有多大?最多可以有多少行代码?

导读:总是看到有人说,动态一时爽,重构火葬场。然而这世界上有的是著名的开源项目, 也有像 Github、Instagram 这样流量巨大的知名网站是基于动态语言...

1054
来自专栏华章科技

Python项目可以有多大?最多可以有多少行代码?

导读:总是看到有人说,动态一时爽,重构火葬场。然而这世界上有的是著名的开源项目, 也有像 Github、Instagram 这样流量巨大的知名网站是基于动态语言...

902
来自专栏安智客

可信软件基概述

安智客长期关注可信执行环境TEE,今天了解学习一些可信软件基TSB(Trusted Software Base)。要了解可信软件基,先来了解可信计算基TCB(T...

1754
来自专栏大前端开发

前端开发者的智能硬件之路

前一段时间,收到了一个面试邀请的邮件。面试找工作,我是没这个打算的,但是,从这封邮件中,我一眼就看到了一个让我非常感兴趣的字眼,让我对这家公司的产品有了想进一步...

823
来自专栏花叔的专栏

我来不匿名聊聊这小程序的技术观察

略表愚见,希望大家喜欢,同时大家有觉得好的小程序也可以告诉我,我来帮忙做技术观察。

31910
来自专栏企鹅号快讯

学习新的编程语言的12个方法

来自:开源中国 链接:https://my.oschina.net/editorial-story/blog/882272 原文:https://opensou...

1978
来自专栏Python绿色通道

Python爬虫实战题荟萃

公众号Python爬虫系列文章基础写完了,所以就有了一些实战题目,有兴趣的可以来去围观一下.,为什么要进行Python项目实战 项目实战第二季

1172

扫码关注云+社区