【研究方法】如何提高问卷调查的信度和效度？
一、问题的提出
问卷调查作为收集社会资料的一种有效形式，被政府和学者抬高于较高的地位。从调查内容看，不仅有了解人们对于社会中一些事件的看法，而且有对于一个理论假设或现实问题的证明或印证。从调查者的学科看，不仅仅社会学在使用问卷，其他学科，诸如心理学、政治学以及管理学也都在使用问卷作为研究的手段。从调查的实践看，不仅专业人员在做问卷调查，政府官员和市场人士也在大量使用问卷调查的形式。问卷调查已在我们的日常生活中占有重要地位。但是由于问卷调查存在的不规范和滥用现象，结果拒访率高、信度不高。面对这种局面，大多数学者借用某些市场调查的方式，给予受访者误工费或者赠送小礼品。在物质利益面前接受调查的人，大多会认真配合，但其中一部分人会把这种行为看作是购买信息，因而应付了事，甚至给予虚假的信息。有钱人则对这些小礼品或者误工费不屑一顾，拒绝接受调查。因此，在调查中，富人往往是缺位者，他们所占受访者的比例远远低于在人口中的实际比例。当然，除了考虑经济手段外，有些人还用“晓之以理、动之以情”的软磨硬泡方式。总之，为了提高调查率，调查者真可谓“八仙过海，各显神通”。
2010年中国综合社会调查（ChineseGeneral SocialSurvey，下文简称CGSS）的实践，使我们不断地反思此类问题：知识建构过程中的问卷调查受何种力量的支配？我们如何破解这种制约，以便提高问卷调查的信度和效度？本文将以2010年度CGSS项目湖北区域调查实践为例，从结构性视角出发剖析调查过程中每一个环节的制约因素，旨在分析问卷调查拒访的外在结构性因素，探寻提高问卷调查信度和效度的形式，促进我国问卷调查技术与方法本土化的发展。
二、问卷的结构性安排与形式制约
在实证研究者看来，问卷是按照相应的假设来安排结构的。可是，作为一种建构的事实，问卷的结构性安排，如异质类问题的相互“嵌套”以及问卷的结构性加长等，会制约我们的思维习惯，进而影响到问卷信息的真实性。
1．异质类问题的相互“嵌套”
问卷的结构形式安排相当重要，这不仅仅是因为结构不合理的问卷可能会导致受访者遗漏一些问题，混淆问题的本意，甚至会导致受访者直接扔掉问卷。从结构性视角看，问卷中问题的结构性安排有着多层正功能。因此，把简单易答的问题放在前面，把复杂难答的问题放在后面；把能引起被调查者兴趣的问题放在前面，把容易引起他们紧张或产生顾虑的问题放在后面；把被调查者熟悉的问题放在前面，把他们感到生疏的问题放在后面；或者是一般先问行为方面的问题，再问态度、意见、看法方面的问题等等。这种做法在实践中已经成为一种共识。在2010年的CGSS问卷中，我们也能看到此种结构性的安排，先是基本的属性问题，如性别、年龄、宗教信仰及党派问题等，接着开始有关行为以及态度方面的问题等。
原则性的问卷结构安排有着多层正功能，但在实践中此种结构性安排往往存在着异质类问题相互“嵌套”的现象。所谓“嵌套”也即是指，由于某种原因使得不同类型的问题相互交错安排。如以CGSS调查问卷的A部分为例，它包含了社会人口属性、健康、迁移、生活方式、社会态度、阶级认同、政治参与与行为态度、个体认知能力、劳动力市场、社会保障、家庭等等。从内容角度进行分析，我们可以清楚地看出，以上内容的知识属性可以分为政治类、文化类、经济类以及社会类等。然而在问卷中，却被重新细化，并以不同的标签再次被排列组合。虽然这种做法未违反我们所讲的一般问卷结构性原则，但是其效果却难以令人满意。
不同的问题相互组合无疑会使得问卷信息显得较为饱满，但在实际调查中，此种结构会对我们的思维产生较大的影响，不停地在问题之间穿梭。一会是经济类问题，一会是社会性问题，一会是收入性具体数字，一会又必须回到相应的态度表达之中。这就很难保证受访者有一个连续性的思维，直接导致有些答案的模糊化和失真。毕竟，问题虽然针对同一个主体，但问题之间的关联性似乎并不那么紧密，如宗教问题与年龄，职业收入与入党和政治面貌等。对于受访者来说，面临的将是跳跃性问题，而非连续性问题。如果受访者是年轻人，或者思想较为活跃者，会有能力接受，但如若碰到年龄稍大者，就会产生很大困扰。因此，在实践中，这样的问卷结构以及作答的要求势必影响了问卷调查。此外，2010年CGSS项目问卷，不仅大版块间存在相互穿插问题的现象，小版块内部也存在着相互接替的现象。如在社会人口属性方面，有关于出生年月日的问题、有教育程度的问题、有学历及个人收入的问题等等。具体分析可知，在问过健康问题之后，转入迁移的话题，进而再转入社会态度方面等，似乎这三者之间的相关性并不强，中间的跳跃性较大。反思以往我们所进行的问卷调查，可以发现，此种跳跃性、非连续性或者“嵌套”特征大量存在，而这种典型性“特征”在我们的小型问卷调查中似乎难以发现它的优劣，可是在类似于CGGS项目问卷中，“嵌套”直接带来的便是中途拒访、信息失真以及时间成本的增加等。
2．同质问题的隔离性设置
由于问卷设计及安排的需要，一些问题在结构性张力的作用下会呈现隔离的状态，然而对于其中的分散程度有时很难拿捏。对于这种安排的解释，我们通常认为可以相互检验的问题必须分隔开，不能连在一起，否则就起不到相互检验和相互印证的作用。也许这只是其中一种解释，“正态分布”的结构具有更多的功能性作用。所以，在我们的问卷设计及结构安排中，同类性问题的“正态分布”具有一定程度的必然性。在2010年的CGSS问卷中，有关收入和消费的问题就有8处之多。问题基本上围绕着家庭的收入和消费进行展开，如你个人去年的收入、职业收入、全家的收入状况以及各项收入有多少等等。类似于这样的问题还有选择消费的问题等，习惯性到哪里进行购买商品，购买商品时什么因素将影响你的消费选择等。如果将这些问题加入进来，那么有关收入和支出的问题在整个问卷中的分布将更广。在65页的问卷册子中，这类问题的分布呈现一种“正态分布”的趋势。反观我们的问卷，其实这样的分布不仅仅是这一系列收入与支出的问题，还有诸如关于生育问题、居委会/村委会投票问题等等。
从CGSS调查来说，其中必须包含着社会的方方面面，支出和消费只是一个小方面，并非整个调查的主题和主线。然而这类问题却遍布整个问卷，在调查中，我们要不停地问答此类问题。在我们有意识的测试和记录中，最短时间间隔是3分钟，我们便又要回到消费和支出相关的问题上。对于调查员以及受访者来说，这时我们又必须回到原有的场景之中，受访者在接收到有关信息后，要回忆原有的内容，进而给出前后一致的答案，或者再次回到应有的消费与支出场景之中考虑该问题，进而在给定答案中作出相应的选择。调查员这时候除了记录该问题的答案，还需要注意答案的一致性。特别对于数字性问题，受访者如果不进行仔细的计算，则可能较为随意的给一个答案。这时的答案则有可能出现前后矛盾的状况。如问卷中的家庭收入、个人总收入以及后面的各项收入分布等状况有时出现打架的状况。如果受访者进行必要的回忆和计算，那么这势必要将占用较多的时间。从问卷填写时间的层面来说，这无疑将会大大延长调查的时间。
3．加长型问卷的信息饱和
对于一份问卷有多长，或者花费多少时间作答完毕，目前还没有较为统一的认识。有的问卷也许可以在两分钟内完成，有的则需花费三四个小时。这些取决于我们所要调查的内容以及所要收集的信息。CGSS调查问卷所收集的信息包罗万象、面面俱到，不仅要有经济性问题、政治性问题，同时还要有文化以及社会性问题。并且，还要就社会的热点问题，进行重点型调查，以明确社会大众的态度和行为等。作为一次综合性社会调查要将所有的信息都包含进来，问卷的长度以及问题数量可想而知。否则，内容过于简化，它的测量效度将难以达到预期的效果。
2010年的CGSS问卷，包含3种问卷，即一份入户登记表、一份抽样类型页，一份正式的调查问卷。前两者虽然只有5页纸，然而需要填的信息却不少，涉及到家庭成员的基本信息等，如年龄、家庭关系等。正式的居民问卷被装订成册，一共有65页，从A到Q，共有17个版块。从实际状况看，不是每个版块都需要作答，甚至不是每道题都需要受访者进行作答。因为，问卷设计针对的是一种通识性问题，在抽样框内根据所有研究对象的共同性问题进行调查，并不能使其完全按照一个人的模式进行定制。这也就决定了问卷结构之中所存在的跳答状况。即使这样，我们的受访者，最少也需要作答47页的问题。
问题的数量即问卷的长度，虽然很难有一个具体的标准，但是根据一些调查研究专家的经验，一份问卷的长度或者其所包含的问题，一般以受访者能在半小时内完成为宜。就CGSS问卷而言，开始确定访谈对象的两份小问卷，一般大概需要3到5分钟才能有效地完成。对于至少47页的居民问卷，即使问答和计算的速度再快，也平均要两分钟做完1页，那么这里至少要94分钟才能有效的完成此份问卷。这样，整个问卷的完成大概需要近100分钟的时间。如果再将入户时间以及解释问卷调查意图的时间计算在内，那么时间会更长。事实上，在实际调查中，很多受访者第一眼看到我们手中的问卷，产生的反映便是，“这么厚的一本呀！”在调查过程中，许多受访者不时表现出不耐烦的态度，“怎么还没有完呀！”、“怎么还有这么多呀！”的确，我们从上午9点钟开始敲这户的门，等双方达成协议开始作答问卷，经过90多分钟的问答，那么至少要到11点钟，问卷才能作答完毕。这样，受访者将耗费整个上午的时间，而不能再做其他的事情。因此，相对而言，CGSS可谓是一份加长型的问卷调查。
问卷的长度受到两个条件的制约：资料的准确性和受访者愿意接受调查的时间。研究者总是希望在一次调查中获得最多的信息，问题越多，问卷较长，但是这样的结果经常会使受访者在填写问卷或接受调查时产生厌烦情绪，进而对后面的，往往也是比较重要的问题敷衍了事，影响资料的准确性。在我们的调查中，也遇到类似的情况，但更多的则是一些个案看到如此长的问卷，他们便开始拒绝，或者一些个案在调查过程中，看到如此多的问题还未进行完，便要求中途退出。
三、调查中的结构性张力与主体受限
除了问卷本身存在着结构性张力，在实际调查中还普遍存在主体受限问题。首先，从宏观层面来讲，国人对社会问卷调查的认识度还不够高；其次，由于文化结构等因素的影响，问卷中有些问题超出受访者接受的范围。从操作层面来讲，“机械审问”式的一问一答也限制了受访者自主性的发挥等。
1．无用论：国人对问卷调查的认识缺失
问卷的填答是个体存在于社会中的一种权利与义务。在实际调查中，大多数人从中选择了个人的权利，而放弃了应有的义务。具体而言，许多人尚未理解社会问卷调查的真谛，而将其视为一种负担和麻烦。因此，当我们和其谈到将对其进行一项社会调查时，受访者首先提出的问题便是“调查有什么用？”对于这样的经历，相信每一位调查者都会遇到。在CGSS项目调查过程中，每当我们叩开一户的大门，向其讲明我们的来意以及需要他做些什么的时候，他们总是首先问，“你们做这有什么意义？”而我们的解释通常难以满足他们所期待的要求。因为，受访者所认为的有用与我们的理解并不相同。
事实上，由于性质不同，有的社会调查会直接对社会和生活产生作用，有的则是间接影响社会和人们的生活。从宏观层面讲，CGSS调查对整个社会的发展以及我们国家政策的制定都有着较为重大的影响；从微观层面分析，对于社会中的个体来说，他们是最直接的受益者，毕竟政策的社会福祉直接受益者是社会中的个体。可是，我们的受访者要的是直接的、即时的作用，而我们所做的是学术性调查，与政府部门的调研不同，是通过社会科学的公共性来影响政府的决策，不可能起到达到立竿见影的效果。所以，在国人的认识中，认为调查就是马上解决问题，如果不能给与解决，那就是“没什么用”。如我们在襄樊市方营村的调查过程中，一位中年妇女和我们说，你们的调查要多多反映我们这里的困难，多给我们发些补助，让政府把我们的路给修了。从此话语中，我们可以看出，受访者对于调查所产生的期待。
另一方面，受访者所强调的有用，不仅仅是现在有用，能解决现实问题，而且关系到有用的范围问题，主要是对他自己有什么用，有什么好处，比如个人的补助问题、不公正待遇问题，希望得到上级政府的重视，等等。如果不能解决自己的问题，那么仍然是没什么用。在这种观念的影响下，许多受访者看不到自己的利益，自然就不会接受我们的调查。我们在襄樊市临江社区进行调查时，便遇到这样一个60多岁的男性老人，由于多种因素的影响，老人身体状况较为不好，有着多种疾病缠身，而且养老保险都未能领取到。当我们向其说明将对其进行做一份调查问卷时，老人的回答则是，“你们的调查有什么用？能解决我的问题吗？如果能，我就好好的给你说说，如果不能，就算了”，“你们那几十块钱，能解决我的问题吗？要你那点钱，明天怎么办？”因此，老人强硬的保持着无用论的态度，使得调查很难进行展开。
2．压迫感：问卷考察内容的敏感性
问卷的作用在于了解研究对象的基本情况、行为方式以及行为主体的态度等。所以，在大多数问卷里面都会涉及一些相对隐私或有关私密性的问题，或者说是敏感性问题。何种问题算是隐私或者私密性信息，在不同的地区有着不同的解答，并没有较为统一的说法和界定。在西方社会，问女士的年龄这是一种不礼貌的表达，然而在中国社会，这个问题并没有什么冒犯之处。相反，你如果要问对方去年的家庭收入或者个人职业收入，这也许就涉及到了敏感性话题。可是，此类问题是问卷要求的，我们不能不采集。否则，它会成为无效的问题，我们想测量的指标就没有办法解决了。可是，现实生活之中，我们的文化以及社会环境又迫使人们对此问题低调、含蓄。否则，有露富，或者说张扬之嫌，肯定会招来嫉妒以及其它的不确定性。
在CGSS项目中，问卷有着大量的篇幅关于此方面，如个人收入、家庭收入、家庭收入的具体来源，以及开销等等。对于这些问题，我们的受访者经常是保持沉默，或者经常说的一句话便是“没有多少”，“你随便填”。从某种意义上来说，“没有多少”是他们对此问题的经常性与习惯性表达。对于“没有多少”怎样理解，在我们的深度追问之下，他们经常会说，你随便填一些、几千块钱。当我们问，可以填到1万块吗？他们一般会给与肯定的回答，“基本上也就是1万左右”。但当后来检验问题出现时，也就是在关于总开支，以及开支的分配问题的回答时，他们会经常给出入不敷出的数字，那就是前面说了收入一万块，后面的开销却有着近两万元，而且家庭却没有借债。由此悖论性的表达，我们可以看出国人在收入问题上不愿将自身作为一个“透明人”展示出来。这更多也是我们所处社会文化规范的结果。在我们曾经调查的一户中，家庭条件较好，有着挖掘机、汽车等等现代化家什。当与其谈到收入问题时，他随口就说，“一年大概20万吧”。他在场的妻子则立马补充了一句，“没有那么多，少说一点”。受访者则说，“那就写15万吧”。从某种意义上说，收入在国人的交谈中向来是一个较为敏感的话题，如果有同社区内相识的人在场，那么收入将更会避而不谈。具体来说，这就是问卷调查中的压迫感，影响着调查的信度和效度。
3．“审问”：封闭型问答的机械性
与开放型回答方式迥异，问卷调查一般采取的是封闭型回答方式，主要指设计者预先设计好问题的几种可能性答案，将这些答案全部列在问题的下面，由被调查者从中选择一种或几种答案作为自己的回答。这种机械式的一问一答方式类似于法庭中的审问，不需要过多的解释，可以避免调查员的再次解释使原有的意思产生一次离心偏向。在《现代社会调查方法》中，风笑天认为，填写错误主要有两类，一类是填答内容的错误，即答非所问。这是由于对问题含义不理解或误解造成的。另一类是填答方式的错误。这主要是由于问题形式过于复杂，指导语不明确等原因所致。从某种意义上说，机械式问答有着极大的优势，可以弥补上面所说的两种错答得可能性。有学者甚至认为“依据书面表述的方式读出问题”是高质量访问技术的第一项基本原则。但是，“机械式”一问一答的形式并不像我们想象中那样，能将意思很好地传达于受访者。这不仅仅是因为话语转换的问题，更多原因在于受访者的文化程度及其理解能力。对这个问题在此不展开分析，我们将从结构的角度对调查中出现的一些问题进行思索。
封闭式问卷的调查，我们通常采用的形式是，调查员开始提问，然后受访者回答，最后调查员进行相应的记录。这是问卷调查中最为基本的形式之一。可是如果将这种舶来的形式用之于中国本土社会，我们经常会发现，这种结构式“一问一答”存在着巨大的问题，较为明显的便是与我们的文化传统不相符合。问与答的形式类似于“审判”与“审问”，调查员问什么，你要回答什么。那么这就产生了多样性的问题，第一，一般的人较难以接受这种调查的方式。因为，作为日常生活中的一个主体，个体没有必要在这样的状态下接受你的盘问。第二，虽然有些受访者接受了我们的调查，但是关于个人隐私方面的问题，他们总是给与特别小心的应对，尤其关于一些较为敏感的政治话题，如你对“公检法”的态度，这样的场景会对受访者施加很大压力。因此，受访者很难给出较为真实地态度和想法。直接结果便是导致信息的失真以及虚假信息的出现等。第三，“机械式”的一问一答形式只是要求受访者在已给的答案中作出选择，只部分地体现了主体的能动性，限制了他们思索和选择的空间。比如，你过去一年看电影的情况等，调查结构要求我们不需要详细的次数，只需要在“从不、很少、有时、经常、总是”中给出一个答案即可。我们的受访者这时如若对自己过去一年看电影的次数进行回忆就没有太多的必要。与此同时，也从中反映了另外一个问题，即问卷所给的答案选项是最为完备的选项，受访者只能根据应有选项进行作答，而不能再考虑自身的特殊性，即使没有适合自己的选项，也要选择相应答案。由此可见，我们所需要的答案也就在某种程度上剥夺了他/她的主体性。
四、应对结构性张力的策略
如何突破问卷调查中的结构性约束，是摆在我们面前的一个难题。我们需要尊重结构，因为结构的存在，使规范得以存在，从形式上对问卷调查的方方面面进行有效的统一，可以保证资料的统一性与稳定性。如何弥补结构性的缺陷与不足，特别是解决主体能动性受限问题，以保证问卷调查的信度与效度，结合以上分析，我们认为应当注意以下几方面：
第一，问卷调查只是一种信息和资料收集的手段，或者说方法只是我们获取资料的一种形式。无论采用何种方法，最终都是为了获取有效的信息，实现我们的研究目标。在具体的社会调查过程中，针对不同的调查对象，我们应该发挥定性与定量方法的特长，为我所用。如在CGSS项目中，我们可以穿插一些定性的访谈方法，以聊天的形式去收集有效的信息，进而再次填答问卷。这样既保证了调查情境的培育，使得问卷得以顺利完成，也避免问卷调查过程中机械的结构形式使调查的信度和效度失真。不然，僵化的信息和资料收集手段，只能是花费较高的人力与物力成本却不能达到预期的效果，可谓得不偿失。因此，我们在今后的信息和资料收集过程中要从形式和实质上对问卷调查加以深刻的认识。
第二，问卷调查不仅仅是一种技术，而且是一种艺术。或者说，调查不仅仅需要我们具备访谈技术，还需要有一定的方法素养和策略，即能将方法意识“内化”，进而将各种具体的、琐碎的研究技术和手段，有机地“整合”在调查研究过程中。调查技术每个人通过相应的培训和学习都能掌握，而素养和策略则需要一定的经验积累和主观能动性的发挥。在调查中，我们应当在坚持原则的基础上，灵活运用所掌握的调查技术。只有如此才能在复杂的环境中保证信息的效度和信度。因此，我们在选择和培养调查员或访谈员时，不仅仅要对他们进行方法技术培训，更需要对其进行素养的言传身教以及技巧的训练，使其具备控制调查情境的能力和一定调查素质。
第三，问卷调查要有“理论自觉”的意识，要靠方法论或理论的指导。在社会学研究中，理论与方法不是孤立、相互分离地存在的，而是在解决某种特定社会问题的过程中一起形成并紧密相联的有机体。方法是理论背景中的方法，同时方法也是问题背景中的方法。因此，在调查过程中，我们既要遵循相应的结构性要求，又要具备一定的自主性。作为调查过程中互动的主体，我们不仅仅是机械地问和填写相关的信息，更多需要我们在约束性框架内，从调查的主体间性出发，通过一定的技术与艺术，针对不同类型的问卷及问题，探寻更好的问答方式，使得信息更加真实可靠。具体而言，在具体的场景之中，我们可以打破相应的问卷结构，以一种双方都可接受的连贯思维进行展开调查。
第四，必须规范调查市场、提高国民的调查意识。一方面，现在社会上存在各种不规范的调查，如形形色色的市场问卷调查、政府的问卷调查、低层次的学术问卷调查等，鱼目混杂，在民众中产生了不好的影响。另外一方面，虽然现在做调查并未遇到较大的阻碍，但“调查有什么用”这样的实用主义思想仍然影响着公民接受调查的态度，甚至直接影响着信息和资料收集的效果。随着社会经济文化的发展，各种形式的调查将越来越多，如何培育我们的受访者，这将是一项重大的课题，值得我们去深入研究。
来源：社会学视野网