怎样分析样本调研数据(译)

从一个群体样本中获取群体的整体特征是许多研究设计和统计方法发展的基础。根据数据收集的算法、调研问题的类型和调研的目标,分析样本调研数据的方法各不相同。这篇文章会简洁明了的分析调研数据过程中的各种问题,同时会说明在一个完整的调研数据分析报告中应该包含什么。这些并不是基本准则而只是一些建议。

调研数据分析的过程应该包括以下步骤:

1、数据验证和探索性分析

2、确认性分析

3、数据解释

4、数据分析报告存档(用于将来的分析)

1数据验证和探索性分析

数据验证主要负责确认调查问卷被正确的完成,并且调研数据具有一致性和逻辑性。以下是一些建议性的数据验证的内容,你应该去做但并不局限于此:

1、超出范围的录入:这些通常是由于较差的问卷设计或者数据输入错误。比如一个询问受访者年龄的问题得到200岁的未分类结果,这是绝不可能的。

2、逻辑上不一致的数据:当两个或者多个变量/问题的答案放在一起时不成逻辑。问卷设计过程中运用分支逻辑方法可以帮助避免这种数据的不一致性,尽管不能完全避免。

3、编码:这将包括所有的分类结果都被编码。比如,当一个有意义的预分配标签没有被分配时,结果将没有数值。如果需要将一些调研中的开放性问题分类,人类的专业知识,可能再加上定性分析工具的帮助,可以将问题很好的分组。

一旦上述的检验内容都已完成,探索性数据图表就可以产生。在探索性分析的过程中,数据清理的战线被拉长,因为分析总结可能带来其他的问题,一旦真的出现问题,你应该在探索性分析中研究这几个方面:

1、奇怪或者极端的数值,可能是需要更正的错误。

2、解释问题的主要图表。比如是不是在某种条件下男性的比例就是比不在这种条件下的比例高?

3、迹象表明修改变量后结果会更加清晰。比如进行重新编码或转换。

4、图表可能表明新设的问题会比原来的问题更具有说明性,这对于生成假设非常重要。

当简单随机抽样不能够作为统计方法调整的方式,比如有时加权方法对于得到明确的分析结果十分必要。但是,调研者通常在开始获取信息时就运用了很好的统计方法因而不需要调整,不过以下是一些常见的统计调整方法:

1、加权: 在调整的数据中,有些被调查者或者问题或多或少的会比其他的调查者和问题更加重要。这就保证了数据更能够代表调查群体的特性。典型的做法是根据调查者/事件在样本中被选中概率来赋予相应的权重。

2、变量重组:这种方法将在原有变量的基础上,通过重新定义和重新分类的方法产生新的变量。比如,解释一个问题所需要的分类科目可以合并重组为更少的分类科目,就像我们可以把十个分类科目合并成两个。

3、维度转换:根据可比性或兼容性的目标,调研数据会使用不同的长度和种类。

2确认性分析

探索性分析可以描述发生了什么,但是这只是试探性的。我们需要确认图形信息是能反映真实情况的,因此我们需要不确定性预测,比如通过标准误差或置信区间来预测样本采集中的误差。从这个角度讲我们需要统计性分析。

统计性分析的步骤取决于以下几个方面:

1、调研的设计思路

2、响应变量的类型

3、探索性变量的类别

标准的抽样调查数据分析包括计算不同变量的比例以及它们的标准误差。连续性因变量可以通过简单线性回归或者多元线性回归进行分析。如果变量间并没有很好的线性关系,有时会用非线性回归的分析方法。对于有序变量之间的关系研究,我们可以运用Spearman秩相关或者Kendall’s tau的统计方法。对于名义变量的研究,包括对每个变量类别所占比例的统计,同时可以根据Chi-square tests(卡方检验)和Fisher’s exact test(Fisher精确检验)的方法探寻两个名义变量之间的关系。对于因变量为二分变量,自变量多于一个的情况,我们通常采用Logistic回归的方法进行分析。此外,如果因变量是有序的,我们可以采取有序Logistic回归的方法。当调研底层聚集大量观察值时,可以采用多层建模的方法进行分析。

如果调研者专注于研究主要发现或者样本调研目标,那么交叉列表在展示中将非常有效。交叉列表通常是总结报告和对比分析中的重要组成部分。

3数据解释

当你完成数据分析,是时候考虑一下调研的结果对于手头上的问题有什么意义。以下是你在数据解释的过程中应该注意的方面:

1、清楚的阐述调研结果有什么实质性的发现。

2、讨论这些新的发现是不是能够对过去的发现提供更多的实例参考。比如可以对一些通用的理论和原则提供验证,或者对于现在的理论提出实质性的修改意见。

3、运用调研中的定量数据对于目标群体进行定量预测。

4、解释你现在的数据分析结果对于调研目标的意义,而且如果需要的话,对下一步调研的步骤给予建议。

4数据分析报告存档(用于将来的分析)

分析报告存档是十分重要的!因为有人以后可能会借鉴复制你的调研结果,你可能以后也会参考之前自己的分析报告,因此如果没有很好的存档,将有可能很难回忆起来。(Via:36大数据)

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-03-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

手工艺品电商平台Etsy的个性化推荐

1113
来自专栏镁客网

新算法可以优化三维重建,极大推动AR中的对象跟踪速度

1430
来自专栏人工智能头条

深度学习在推荐领域的应用

753
来自专栏深度学习之tensorflow实战篇

SPSS Modeler 介绍决策树

本文将通过 SPSS Modeler 介绍决策树 (Decision tree) 演算法于银行行销领域的应用实例。通过使用网路公开电销资料建立不同决策树模型,分...

3348
来自专栏计算机视觉战队

CVPR 2018论文解读 | 学习在黑暗中看世界(Learning to See in the Dark)

今天和大家来说的这个技术很有意思,因为大家都在夜晚拍照过,拍出来的效果要不是模糊要不是曝光时间短带来噪点。

992
来自专栏数据科学与人工智能

【应用】 信用评分:第4部分 - 变量选择

“以少胜多”是信用智能的主要理念,信用风险模型是实现这一目标的手段。 通过使用自动化流程并专注于关键信息,信用决策可以在几秒钟内完成 - 并且最终可以通过使决策...

1080
来自专栏PPV课数据科学社区

【学习】怎样分析样本调研数据

从一个群体样本中获取群体的整体特征是许多研究设计和统计方法发展的基础。根据数据收集的算法、调研问题的类型和调研的目标,分析样本调研数据的方法各不相同。这篇文章会...

3997
来自专栏目标检测和深度学习

二维码太丑?用风格迁移生成个性二维码了解一下

选自arXiv 作者:Mingliang Xu等 机器之心编译 手机二维码太普通,换来换去还是不好看。何不自定义一个自己喜欢的呢?近日,郑州大学、浙江大学、微软...

3096
来自专栏CDA数据分析师

一位算法师工程师的Spark机器学习笔记:构建一个简单的推荐系统

推荐引擎应用场景: .用户有海量选择:随着场景内item越来越多,用户越来越难以选择到合适的产品 .个性化场景:在选择产品时,会借鉴那些与推荐用户相似地群体,...

2367
来自专栏美团技术团队

十问机器学习

本文中的问题精选自上期【你问我答】——深度学习专题中读者的提问。【你问我答】是由美团点评技术团队推出的线上问答服务,你在工作学习中遇到的各种技术问题,都可以通过...

39511

扫描关注云+社区