欢迎来到加倍考研网! 北京 上海 广州 深圳 天津
微信二维码
在线客服 40004-98986
推荐适合你的在职研究生专业及院校
新言|问卷价值再思考:别让问卷成为流于形式的表演三者若得

新言|问卷价值再思考:别让问卷成为流于形式的表演

文字 | 李思恬 姚孜 胡思明图片 | 李思恬 部分来源于网络责编 | 丁莹排版 | 陈俊沂“帮忙填个问卷吧,救救孩子的期末作业!”“又要pre了,帮填问卷终生帮砍价!”“多一份问卷,多一根头发,还孩子一个茂盛的头顶,谢谢大家!”……TA们是谁?如此卑微,自然是“期末问卷人”。每到期末周,总有一群大学生,为了完成课程作业,在朋友圈以及各个活跃、或者不活跃的群聊中发布问卷,使出浑身解数来让大家帮忙填写问卷。看着问卷发布者们俏皮又心酸的话语,填完了一份问卷;领完同学发的小红包,又填完了一份问卷。但在连续刷到一条又一条拜托填问卷的朋友圈或者私聊时,你还是忍不住大喊一声“不是吧!还有多少问卷?不是吧!”这样的问卷最多出没见于本科阶段的通识课或通修课中。例如,有些课程会在作业要求中写明,要求同学们在研究问题时须使用问卷的调查方法,并展示问卷调查的结果。此外,虽然有些课程虽然没有明确要求发放问卷,但是有些同学认为,在研究中使用问卷,并在报告中可视化呈现出研究数据与结论,会让整个报告显得更加“高级”、“专业”、“认真”。一方面,同辈压力(peer pressure)的影响不可忽视。“别人都发了问卷,我的报告怎么能没有。”正如美国社会心理学家M.米德在《文化与承诺》中指出,现代社会中同辈群体的影响甚至大到能改变传统文化传递方式的地步。在这种同辈竞争的压力下,即使自己的研究无需问卷量化辅助,也有越来越多的大学生开始使用问卷这一研究手段。“别人都发了问卷,我的报告怎么能没有。”问卷也被一部分同学视作“高分密码”,在内容无法深入的情况下,不少人将心思用在了形式上,数据、可视化、H5能够让自己的报告内容看起来更加“高大上”,因此一份份如法炮制的问卷便出炉了。另一方面,同学们制作问卷不仅出于同辈竞争的压力,通过问卷获得数据更成为了一种心理需求,似乎有了数据,似乎就多获得了一份安全感,为自己的作业上了一重保险。人们可以借助数据的力量认识和改造世界,随着记录能力和分析工具的提升,以较低的成本对就能获得数据并进行整合、分析,从而获得有用的信息。因此在商业、科技等各个领域,对数据的重视程度都可见一斑,甚至已经到了崇拜的地步。而这种对数据的过度崇拜和迷信,实际上是试图用科学的幌子掩盖创造性的缺乏,“水”一份问卷数据也成了不少同学逃避深度思考的手段。于是,熟练地使用问卷星发布问卷、分析问卷数据、形成可视化结果,这似乎成了当代大学生的必备技能。(图源《Sex Ecation第一季》)可是,这些问卷真的必要吗?在各式“帮填问卷群”中浏览一番便可发现,同学们发布的问卷的质量参差不齐。虽然的确存在许多高质量的问卷,但更多人的问卷设计并不科学。由于同学们大多没有接触到研究方法类课程,问卷往往在研究思维上不严谨、问题表述上不清晰、答案设计上不完善,难以获得有效的数据。实际上,网络问卷调查起源于邮寄调查,达到准确性和代表性目标的前提是概率抽样,然而大多数本科生采用的朋友圈滚雪球式的问卷发放方式具有很大局限性,最终得到的数据存在样本范围狭小、数量不足等问题。而且由于调查对象较为同质,多为身边的同学,也很容易与实际情况产生较大的出入。当然毋庸置疑的是,发放问卷的确为是社会科学研究的最常用方法之一。可能,任科教师的初衷也可能只是希望通过简单的问卷调查让同学们体验社科研究的乐趣,因此在作业中对研究方法进行要求。但这在实际操作的过程中却带给了学生们新的压力还存在诸多不现实之处,比如不少学院没有开设研究方法课程,学生尚未接触到问卷设计与分析的锻炼。在方法论的掌握十分欠缺的情况下,又就要强行满足程式化的课程作业要求,自然只会得出一份很“水”的问卷糊弄了事。如果通过发放问卷获得一些看似专业的量化数据,来证明自己已经预设好的结果,而对研究的问题本身并没有建设性的见解,最终只能成为流于形式的表演。那么,什么样的问卷是一份好的问卷呢?问卷只是一种社会调查的形式,是辅助研究的工具,美国著名社会学家艾尔巴比在《社会研究方法》中提出了问卷的几个原则:问题要清楚、避免双重问题、受访者必须胜任回答、受访者必须愿意回答、问题应该中肯、问题越短越好、避免否定性问题以及避免带有倾向性的问题和词语。遗憾的是,这些正是大量学生在设计问卷时容易出错的地方。“水”一份问卷很简单,在问卷星里一键生成可视化表格也很容易,困难的是如何按照科学的原则设计问卷,让形式真正服务于研究的内容,得到有参考价值的结果,从而保证研究的科学性、准确性和有效性。真正的研究也不是一份“问卷”就能解决的。问卷也好,访谈也罢,研究形式多种多样、纷繁复杂,重要的是落到实处的内容,而非浮于表面的光鲜形式。下次点开问卷星前,不妨先思索一番,这份问卷真的有意义吗?参考书目[1] M.米德.《文化与承诺》:一项有关代沟问题的研究[M].周晓虹,等,译.石家庄:河北人民出版社,1987:51.[2] 艾尔·巴比著,邱泽奇译.社会研究方法(第11版).华夏出版社,2015年9月.第246-251页.

劳而无功

问卷一定要做效度分析吗

什么是效度?效度分析,简单来说就是问卷设计的有效性、准确程度。当我们在为研究主题设计问卷时,都会希望问题实际测量到的是我们希望测量的,这样研究的数据才能准确的说明问题。例如,我们想了解一个班级里学生的综合成绩情况,正式研究中如果仅测试数学一科,然后得出结论,这样的研究有效性可能很低,原因在于实际测量的方向与研究方向之间有很大偏差。效度分类效度又可分为内容效度、结构效度和效标效度。内容效度,指问卷题项对相关概念测量的合理性情况,通常是以文字来说明问卷的有效性。如通过参考文献,或者权威来源说明问卷的权威性和有效性。还有就是通过对问卷前测并结合结果进行题项的修正等工作来充分说明问卷的有效性。(内容效度并非统计软件进行的统计方法,对于问卷研究来讲,基本上均需要进行内容效度说明。)结构效度,指测量题项与测量维度之间的对应关系。测量方法有两种,一种是探索性因子分析,另外一种是验证性因子分析。其中,探索性因子分析是当前使用最为广泛的结构效度测量方法。使用探索性因子分析进行效度验证时,应该以量表为准,对变量或者量表分别进行分析。效标效度,如果以前有一份权威且标准的量表数据,现在依旧使用该量表进行研究,并且收集回来一份数据。以前权威标准数据作为标准,当前数据与前一份数据之间进行相关分析,如果说相关系数值较高,则说明效标效度良好。案例应用1、背景为测量消费者对某产品的购买意愿及影响因素(共5个分别为:因素产品, 促销, 渠道推广, 价格, 个性化服务),设计了一份问卷。共25题(均为量表题),其中Q1~Q15影响因素对应题项,Q16~Q19为购买意愿对应题项,现希望对量表效度情况进行分析,如果有不合理题项将其进行删除处理。2. 操作步骤这里使用的是探索性因子分析以验证问卷效度水平(1)在左侧分析方法菜单栏找到【问卷研究】->【效度】(2)将变量Q1~Q15拖拽到右侧分析框内(3)设置输出因子个数,预期有5个维度,所以设置因子个数为5。如果没有确定预期维度,也可以选择让系统输出。(4)点击“开始效度分析”3. 输出结果4. 分析结果第一步:首先分析KMO值:KMO值为0.870,大于0.6,意味着数据具有效度。同时,旋转后累积方差解释率为69.708%>50%,说明研究项的信息量可以有效的提取出来。第二步:分析题项与因子的对应关系;如果对应关系与研究心理预期基本一致,则说明效度良好。可以看到所有题项的共同度均大于0.4。除Q6与预期维度对应不符以外,其他题项均与预期对应关系一致,且题项的因子载荷系数绝对值均高于0.4。因而删除Q6,再次分析。题项均已满足预期对应关系,说明效度良好,与专业情况完全相符。第三步:对分析进行总结。使用探索性因子分析进行效度分析,15个量表题目共分为5个维度;删除掉Q6共一道题,最终余下14个题项,此14项与维度对应关系情况良好,与专业预期相符。从上表可知:KMO值为0.870>0.6,通过巴特球形检验,累积方差解释率值为69.708%,说明5个维度可以提取出大部分题项信息。因而综合说明研究数据具有良好的结构效度水平。5. 总结效度分析只针对量表题,如为非量表题可用文字形式进行描述以测量问卷的有效性如果KMO值过低,可删除共同度较低项,再次分析效度分析时, 很可能需要删除题目,以便于维度和题项对应关系符合预期,最关键的地方在于:维度和题项对应关系是否与专业预期符合;其余指标相应比较容易达标,最核心的是让维度和题项对应关系保持基本一致性无论如何效度分析均不达标,可考虑以单个维度分别进行分析,有几个维度就分析几次(同一维度的题目一起分析,仅需要删除掉因子载荷系数值低于0.4的题项即可,不用考虑多个维度间的逻辑对应关系)如果分析过程中删除某题项(即删除该题目及对应的数据),后续所有的分析都要按删除后的问卷作为标准进行分析

麦卓

问卷多选题到底该怎么分析?

在进行问卷研究时,为了更全面地了解研究内容与研究对象,经常会在问卷中加入多选题。但就目前来看多数人在分析多选题时,方法仅限于频数分析,这容易使问卷中很多有价值的信息得不到深入的分析与研究。那么,该怎么做,才能让多选题真正发挥其价值呢?01. 多选题的录入俗话说得好,“工欲善其事,必先利其器”。分析问题之前,首先要保证录入格式的正确、录入的数据无误,这样分析得出的结果才真实可靠。当然,如果是直接从问卷星/问卷网这类的问卷平台上直接下载的问卷,直接分析就可以,不用再担心有额外的录入工作。如果是手动录入问卷,录入步骤具体参照下图:例:(多选题)“您通过从哪些途径了解高校的信息?”1. 父母或亲友 2. 已毕业学长/学姐 3. 网络 4. 学校老师 5. 同级同学或朋友 6. 咨询机构 (1)上图中一行代表一份问卷(被试或样本),ID是编号列,防止录入出错以便进行检查(2)2~7列为多选题的六个备选答案,有几个选项就需要录入几列,选择录入为1,不选择录入为0(3)整理好表格后就可以上传到SPSSAU平台开始进行分析02. 多选题的分析多选题一般从两个方面分析:一是分析单个多选题选项的分布情况,二是与其他变量做交叉分析。SPSSAU共提供多选、单多、多单和多多分析,四种分析方法,下面来具体说明如何操作分析:(1)多选题选项间差异(卡方优度检验)此方法用于分析一个多选题不同选项之间的差异情况。分析时需要将一个多选题的所有选项一起放入分析框里。操作步骤为:点击问卷研究>多选题,放入选项,点击“开始多选题分析”。选择多选题操作页面输出结果:(非真实数据)普及率响应率分析结果:第一步,分析响应率情况响应率用于对比各个选项的相对选择比例情况。如25.9%=53/205,即通过父母与亲友了解学校信息的占总选择次数的比例,响应率加起来为100%。第二步,分析普及率普及率即该选项人数占总人数的百分比,如70.7%=53/75,即选择了“父母与亲友”这一选项的人数占总人数的比例,普及率加和通常会高于100%。第三步,结合卡方拟合优度检验分析各项的选择比例是否具有显著性差异。从上表可知,拟合优度检验呈现出显著性 (chi=23.791,p=0.000<0.05),意味着各项的选择比例具有明显差异性。(2)多选题与其他题项之间的交叉分析此方法用于分析不同样本的选择差异情况,共分为单选-多选;多选-单选;多选-多选三种分析方法,根据不同需要进行选择使用即可。操作方法与“多选题”方法操作一致,分析不同性别之间了解高校信息的途径是否存在差异输出结果:交叉汇总表交叉汇总图从上表可知,利用交叉分析去研究性别与多选题的交叉关系,从上表可以看出:P>0.05说明不同性别之间对于了解高校信息的途径并不会呈现出差异性。除此之外,多选题的交叉分析还会输出包括多选题各题项的汇总表格。03.注意事项(1)多选题不需要分析信效度问卷信效度只针对量表题,分析时千万不要一股脑把所有问题一起放进分析框里,这样得出的数据即使比较好,也是不正确的。(2)没有题目显示上传到SPSSAU中的多选题是没有题目的,这并不是系统错误,而是正常的显示,分析时将同一多选题的选项放在一起分析就可以了。

星闪闪

6个步骤,搞定问卷调研

不知道为什么要做问卷调研?问卷题型不知如何设置?问卷内容被吐槽缺乏思维逻辑?调研结果和预期目标不符?本文将从背景、目的、内容、常见问题、投放以及总结六方面分析问卷调研方法和流程。相信大家无论在职场还是在学生时代,或多或少都做过问卷调研或者被调研过,下面这几个问题大家是否有遇过?接下来将与大家一起讨论并揭晓答案。不知道为什么要做问卷调研?问卷题型不知如何设置?问卷内容被吐槽缺乏思维逻辑?调研结果和预期目标不符?一、写作背景近5月份以来一直在筹备一款连接B端(客户)和C端(用户)之间的平台型产品。目前已初步完成业务调研阶段,其涉及到的内容主要包含市场分析、用户调研、竞品分析等,接下来主要针对我在问卷调研设计的过程中遇到的一些问题以及被领导吐槽过的一些点,进行尝试总结和提炼。一方面希望借此加深自己对问卷调研方面的理解,同时也希望能够帮助大家对问卷调研方面有一个新的认知。二、明确调研目的当我们在接到某个任务时,无论是问卷调研还是市场分析等其他方面,首先需要做的是梳理工作思路、拆解任务并制定计划时间等;而不仅仅只是去做一个执行者(螺丝钉)埋头去写,写完拿去找领导结果被骂的狗血喷头。因为很多时候我们的想法和领导的目标是有出入的。所以根据产品形态、定位、明确目的、确认思路是至关重要的;通过思考和确认,针对我们这款由0到1的招聘类平台型产品,其调研的目的主要在于:验证需求想法,包含对B端(客户)和C端(用户)的市场分析、了解现状、发现问题从而针对提供解决方案再到两端用户是否接受我们的解决案。用户接受并付费的意愿如何。C端产品要实现以公司商业目的为出发点,所以调研核心在于对用户付费意愿的挖掘分析。以此类推,在实际工作中经常存在,假设我们需要收集业务团队针对公司某个系统最近上线的某个功能的评价反馈。我们选择的调研对象在北京公司投放问卷,但实际上北京团队很少使用该功能,更多是在上海团队在使用,因而得到的反馈无法反映真实情况,价值不高。所以在问卷调研的前期阶段一定要搞清调研目的,避免造成“幸存者偏差”现象。三、确定调研内容1. 结构设计问卷调研的内容最能体验并考验设计者的逻辑思维,一份满意的问卷一定是包含丰富的逻辑思维和结构层次的,而不是缺乏逻辑,想到哪写到哪,设置的问题和最终想要得到的结果差异较大,从而获得不到完整的信息。从被调研者的角度来看,大家的时间是有限的,问卷结构不宜太长以15-20道题为主;且避免存在很多不必要无意义的问题。如果问卷过长,对于用户来说一方面会产生填写压力、烦躁,导致后面可能会随意填写失去调研意义;另一方面可能会直接放弃填写。所以我们在设计问卷内容的时候一定要确保获得完整、拟出从被调查者那里得到最多资料问题。确保既不遗漏任何一个问句导致信息的不全,同时也不去浪费任何一个问句去取得不需要的信息资料。因此需要重点突出,没有可有可无的问题。在设计结构的时候确保问卷设计的前后顺序,遵循先易后难、先简后繁,将需要问的核心问题放在中间。2. 合理的问题题型叙述类问题您当前企业员工数约为 人,其中正式员工数 ,外包员工数 人,兼职员工数您认为兼职工数量:1.偏多 2.适中 3.偏少探索性问题您招聘的兼职工平均薪资约为 (单位:元/每小时)您一般通过什么渠道找到兼职工?您在兼职工招聘过程中,工资以外的资金花费为?假设性问题您认为什么样的兼职招聘APP符合您的要求?您认为兼职招聘的APP应具备哪些必须功能?互动性问题在满足上述条件的情况下,您能接受付费金额最多为工资成本的比例是:您最期望的兼职员工类型是?举例以我负责的这款由0到1招聘类的平台型产品来说,结合上面调研的目的,以此我们思考在问卷的设置方面:对于B端(客户)来说,首先要了解的是客户目前是否有在使用我们将要提供的招聘服务?什么时候会使用?使用的渠道来源有哪些?目前使用的感受如何?有没有遇到什么问题?对遇到的问题我们给你提供新的解决方案你是否愿意接受?接受的意愿度如何?对于C端(用户)来说,首先需要了解的是用户基本信息?是否有做过我们提供的招聘服务?分别做过哪些类型工作?有没有遇到什么问题?我们帮你解决问题你是否接受等等?四、问卷调研常见问题确定了调研目的和内容之后对于我们问卷调研来说,只是完成了第一步,接下来我们要思考的是问卷布局结构是否合理?内容是否存在问题?逻辑是否一致?以下是我在问卷设计阶段对出现的一些问题,结合领导指正之后,进行总结和归纳:1. 用词过于书面口语化用词过于书面化,不够专业严谨。如:您认为线上招聘最大的顾虑是?被员工放过鸽子。此类答案对于年轻人来说会觉得比较随意、年龄稍大的可能不理解什么叫放鸽子等,失去调研的意义。对此可以将答案改为:员工毁约2. 用词过于专业,导致问题失真用户难以理解在对用户进行调研时,要避免使用专业性的词语。一方面会给用户的理解带来难度;另一方面对问题理解产生较大偏差,导致失真如流量、获客成本等。3. 避免题目内容和问卷主题相违背题目的内容一定要紧扣主题,避免出现题目内容和主题相违背,如:针对B端商家的调研,但是题目出现“家教”的答案。对于B端商家来说,员工是去门店或企业上班的,不可能存在在家上班的情况。4. 避免题目内容出现歧义题目的内容要有针对性,避免出现同一个名词包含多个含义,引起歧义,如:要了解您当前企业兼职工的岗位有哪些?对“操作工”一答案选项存在歧义,因为对于企业来说厨师、切配、流水线、车床、机电等都是操作工;导致概念不清,对此可以改成其他生产岗位。5. 避免多重新、导向性、是非性问题6. 多重性问题:多选、可多选等关键词用户在看到此类问题的时候,由于问题本身设置成了多选,用户在选择时往往会降低选择的标准,比如下面这题:您一般通过什么渠道找到兼职工?(可多选)亲朋/同乡朋友/同行介绍门店告示劳务公司中介机构招聘平台工头、群主校企合作其他在用户看到问题的题干时,用户脑中一定是有一个想知道的答案。但是如果设计成多选用户往往会把自己带入题目设定的场景,用户虽然从来没有用过工头、群主,但是由于多选看到了答案,导致会对选择降低标准,而选择尽可能多的选择答案。7. 是非类问题:带有是否、是不是、有没有等关键词如:你是否有用过兼职类APP?有没有用户在看到此类问题时候,往往对题干本身并没有一个明确的定义。什么是兼职类APP?我看过兼职专题的社区算不算?我注册过账号但是觉得不好用就卸载了,算不算使用过?这样给出的答案往往是失真比较大的。8. 导向性问题:限制用户具体的事件如:在选择兼职时,你更愿意自己挑选还是听取别人建议?自己选择听别人的用户在回答这类问题时,由于题干限制了用户自主选择的权利,把用户限制在自己选或听别人的意见这两种场景下,所采集的信息往往不准确。五、如何投放调研问卷我能想到的调研问卷的方式主要有以下两种:线上问卷调研线下调研两种方法的优劣势如图:结合平台和用户属性,此次问卷调研我主要采用的是线上电话调研和线下用户面对面访谈为主(就是那种去别人店里拿着笔纸好似推销员的那种)。在选择调研方式时,要结合调研的目的,平台的属性,预算、采集人员样本需求、结果统计需求入手,合理选择调研方式。六、用户调研总结首先,要明确调研目的,即调研的主题是什么?想获得哪些信息?发现哪些问题?对应的解决思路是什么?如果我们提供这种解决思路你是否愿意接受?接受程度如何等等。其次,在访谈前做好暖场及铺垫:初始寒暄以闲话家常开端,问候老板疫情期间生意如何?是否受影响?同时告诉对方自己目的,打开用户话匣子,减少用户猜疑。接着,问卷设计的核心在于思维逻辑,注意前后顺序,遵循先易后难、先简后繁,将需要问的核心问题放在中间。然后,提出好问题才能收集到有意义的信息,问题是访谈的核心。最后,初次访谈后,要进行总结,调整话术,不断对访谈时间、目的、问题进行调整优化。七、小结随着工作的深入和新项目的开展,越来越体会到产品经理是一个思维的工种。在这个过程中,我们需要不断将自己碎片化的知识迭代成有知识体系的框架,除了必备的硬技能:竞品分析、原型设计、需求评审、测试验收等,同时也发现在硬技能提升的同时仍然不足以支撑我在职场的江湖行走。软技能需要同步的提升,比如:系统化思维、结构化思维以及最近被领导快折磨逼疯的框架思维和战略思维等。虽然这个过程很痛苦,但是也迫使我开始慢慢去进一步思考:在执着于某个单点上的努力,如何去提升自己的线和面的全局思考和资源配置的问题,不断提高自己的认知并完善自的知识框架。我们每天工作都有很多的事情要处理。我个人觉得做每件事情,都要明白在自己的知识框架的哪个部位,当前处理方式是否合适,学到的新技能后是否可以回头来完善我们恩典知识框架和自己之前做过的项目等。以上是我对问卷调研的分享和一些感悟,如有不妥之处,还望各位朋友能够给与指正。未来可期,我们一起努力,加油~本文由 @jachon 原创发布于人人都是产品经理,未经许可,禁止转载。题图来自正版图库 图虫创意

夏帆

问卷信度效度之间有什么关系如何分析

什么是信度?信度指的是可靠度、一致性或者稳定性。比如说,在对同一对象进行测量,多次测量结果都很接近,大家会认为这个结果是可信的,真实的,也就是信度高。如果每次测量的结果都有很大的差异(例如,用同一份考卷对同一批学生进行测验,每次测试平均分数差别都很大),则说明信度较低。同样在问卷研究中,也通过信度分析来测量样本回答结果是否真实可靠,检验信度越高,就是表示结果越可信。内部与外部可靠性信度可分为内在信度和外在信度两类。内在信度:是指衡量研究问卷中的多个题目是否测量了同一概念或者内容,即题目之间是否具有内在一致性。这也就是大多数量表问卷所做的信度分析。外在信度:通常指不同时间测量时,是否测量结果具有一致性。比如说刚才举例中提到的考试成绩例子。衡量信度的方法有很多种,其中,常用的内在信度系数包括:克隆巴赫α系数和折半系数;常用的外在信度是重测信度。α信度系数,即内部一致性系数。是最为常见的信度测量方法(SPSSAU默认为此信度系数)。基本上所有问卷信度分析均会使用此类分析。通过软件计算出α信度系数值,并且用其进行信度水平判断。一般来讲:α系数最好在0.8以上,0.7~0.8之间属于可以接受范围,而分量表的α信度系数希望在0.7以上, 0.6~0.7之间可以接受。如果α信度系数低于0.6则考虑修改量表。折半信度:折半信度就是将所有量表题项分为两半,计算两部分各自的信度以及相关系数,进而估计整个量表的信度。判断标准可参考α信度系数的衡量标准。重测信度:指同样的样本,在不同的时间点回答同样一份问卷。继而计算两份数据的相关系数,并且通过相关系数去衡量信度质量。重测信度可以评估时间差异带来的误差。复本信度:此外还有复本信度,是同样一组样本,一次性回答两份问卷,比如同样一组学生连续做两份同样难度水平的试卷。然后通过计算两份样本相关系数,从而进行信度质量衡量。什么是效度?效度分析,简单来说就是问卷设计的有效性、准确程度。当我们在为研究主题设计问卷时,都会希望问题实际测量到的是我们希望测量的,这样研究的数据才能准确的说明问题。例如,我们想了解一个班级里学生的综合成绩情况,正式研究中如果仅测试数学一科,然后得出结论,这样的研究有效性可能很低,原因在于实际测量的方向与研究方向之间有很大偏差。效度又可分为内容效度、结构效度和效标效度。内容效度,指问卷题项对相关概念测量的合理性情况,通常是以文字来说明问卷的有效性。如通过参考文献,或者权威来源说明问卷的权威性和有效性。还有就是通过对问卷前测并结合结果进行题项的修正等工作来充分说明问卷的有效性。(内容效度并非统计软件进行的统计方法,对于问卷研究来讲,基本上均需要进行内容效度说明。)结构效度,指测量题项与测量维度之间的对应关系。测量方法有两种,一种是探索性因子分析,另外一种是验证性因子分析。其中,探索性因子分析是当前使用最为广泛的结构效度测量方法。使用探索性因子分析进行效度验证时,应该以量表为准,对变量或者量表分别进行分析。效标效度,如果以前有一份权威且标准的量表数据,现在依旧使用该量表进行研究,并且收集回来一份数据。以前权威标准数据作为标准,当前数据与前一份数据之间进行相关分析,如果说相关系数值较高,则说明效标效度良好。信度与效度?分析的过程中有人会有这样的疑惑,「我的数据明明信度系数这么高,为什么效度却很低呢?」从计算公式角度看,信度和效度之前确实存在一定的关系。两者的关系可以理解为:效度高,信度一定高;信度高,效度不一定高。有效的测试也是可靠的。高考是有效的(且可靠),因为它衡量的是学生在高中学到的东西。但是,可靠的测试并不总是有效的。例如,假设你的体重秤只会显示60。那么它是可靠的(每次都是相同的结果)但却无效(因为体重秤没有记录正确的体重)。当然,一份好的问卷应该同时具有足够的信度和效度,并且从实践角度要兼顾实用性和科学性。

吴筠

问卷数据,该如何着手分析呢?

工作中用到的调研问卷,探索的内容相对具体,涉及的变量也比较少,一般不会用到太复杂的分析方法,Excel+SPSS即可搞定,本文整理了几类常见的问卷分析思路。拿到一份问卷数据,该如何着手分析呢?且慢,要做分析得先检查数据是不是完整、可信,所以先从数据清洗开聊。一、数据清洗(1)一份数据可能经历过编码、合并、拆分等,先检查数据是否完整,是否有异常值?选择题、排序题这类封闭题型的答案是有限制范围的,针对这类题型,在spss内使用频率统计功能,查看每个题目的总量,缺失值,是否有异常值。比如:性别只有1、2两个选项,出现其他选项则说明有问题。有个小技巧,在Excel中可以使用筛选功能,快速查看每个题目的结果是否有异常值。(2)有些用户可能会不认真填答,因此需要检查逻辑合理性,是否有前后矛盾的情况?有些问卷,前后题目有逻辑关系,可以用这类题目做测谎题,筛选出前后矛盾的答案,比如前边用户选择了主要的出行方式是“自己开车”,后边却选择自己的年龄“小于18岁”,那么这类问卷可以视为不认真填答的,删除。如果没有合适的题目做测谎题,也可以在编制问卷的时候设置测谎题,两种设计思路:同一个题目前后问两遍,检查答案是否一致,如:请从下列选项中选出你最常用的地图APP。注意避免使用有两个答案的问题,比如问用户爱车的品牌就不合适,因为用户前后填答不一致,不一定都是不认真填答,也可能是因为用户本身有两辆车。设置一个有明显错误答案的问题,检查是否选择了错误的答案,如:你最常用的地图APP是哪个:混淆选项可以用 :京东。不过我们只是想检验用户的认真程度,而非考验用户的记忆力,所以测谎题要简单明确,只要认真看题就不会错。比如问用户最常用的地图APP是哪个,混淆选项用“微信”就不合适,因为用户不认真想的话,很容易把微信自带的地图当成地图APP。如果技术支持,也可以通过后台数据和用户问卷中的数据做匹配,常用的是性别、年龄、常居地之类的数据,也可以问一些明确的行为数据,比如是否用地图买过火车票。需要注意的是:选择稳定的明确的数据来做校验题目,不要使用需要回忆的数据来校验,用户的记忆是模糊的有误差的,使用频率、使用年限,这些都不适合做校验,因为用户的记忆很可能与实际行为不完全相符。二、样本加权问卷调研绝大部分是抽样调研,如果想通过样本的情况去推测整体的情况,除了要考虑最小样本量之外,还需要考虑样本的代表性。群体有很多属性,并不是要求样本的每个属性都和整体一致,而是关注那些对研究问题最有影响的属性,在该属性上样本和整体尽量保持一致。假设:年龄对用户忠诚度的影响非常大,对出行方式没有影响,那么在研究忠诚度时就需要考虑到年龄因素,而在研究出行方式时,就无需考虑年龄因素了。一种是事前控制,区分出不同年龄段的用户,分桶按比例发放,该方法成本高很少用。另一种是事后控制——加权 。比如问卷收集到的用户,与整体用户群分布不一致,但是我们想知道整体用户的忠诚度,此时可以通过加权的方式去调整。具体方法如下:先根据整体和样本的年龄分布,计算出权重值,然后再使用spss的权重功能,给数据加权。加权后再统计忠诚度。值得注意的是,不要为了省事儿,直接计算出样本各年龄段的值,然后给个年龄段的值赋个权重,求均值。这样的结果是不对的,必须要使用spss的加权功能。如果有多个因素,挑选最重要的一个因素加权。如果非要考虑多个因素,那么需要了解多个因素交叉后的整体分布。比如既要考虑性别、又要考虑年龄,那么需要将性别和年龄交叉,知道整体男性的年龄分布、女性的年龄分布,再计算权重,成本太高了。三、分析思路我们先假设一份调研问卷,带着这份问卷来看分析思路。假设要针对大学生群体使用地图APP的情况做个调研,设计了以下问卷,通过这个问卷我们能做哪些分析呢?3.1 描述统计,看整体分布情况统计各选项的数量、频率是最常用到的分析,然后通过图表展现出来,可以非常直观的看出整体分布情况。通过这个问卷,我们可以得到:在大学生群体中,各手机地图的市场占有率,如果有整体的地图市场占有率数据,还可以比较得到,在学生群体中哪个地图更有优势。大学生群体,用户常用的功能排序,以及各功能的占比。该题是多选题,可以使用spss的“定义多重响应集”的功能。此外在计算占比的时候需要想明白,是以整体人数作为分母,还是以整体选择量作为分母,分母不同解释也不同,需要标明。本题以整体人数作为分母,占比的意义是:大学生群体中,多少人使用**功能。3.2 差异分析,找影响因素除了看整体分布情况,我们还可以通过差异分析,探索更多的信息。做差异分析,第一步先找到两个可能有关系的因素;第二步将两个因素交叉统计结果,根据结果在这两个因素间做假设;第三步根据这两个因素的数据类型,选择合适的统计方法,验证假设。通过这个问卷,我们可以分析:(1)男性和女性对手机地图的选择有差异么先分别计算不同品牌的用户性别占比,结果发现不同品牌的男性占比不同,性别和手机品牌都是分类变量,因此使用卡方检验。(2)男性和女性,对手机地图的忠诚度有差异么?先统计不同性别用户的NPS值,NPS值是等距数据(NPS这个题目,本质上是李克特量表,对该数据是否是等距数据尚有争议,但大部分情况按照等距数据处理),我们想要看男性、女性两组之间的差异,采用T检验。(3)不同品牌的手机地图,用户的忠诚度有差异么?与性别变量不同的是,手机品牌有4个维度,T检验只能做两组之间的差异检验,多于两组的时候采用方差分析。(4)是否由于男性用户多导致腾讯地图的忠诚度低呢?比如男性的忠诚度更低,而不同品牌之间男性的占比又不同,腾讯的男性用户较多,就会假设:是否由于男性用户多导致腾讯地图的忠诚度低呢。当有两个因素的时候,可以采取协方差分析,在做方差分析的时候,将性别作为协变量纳入,分别看男性组,不同地图品牌间有差异否,女性组不同地图品牌间有差异否。总结一下,做差异检验的统计方法常用的有三种:卡方检验、T检验、方差分析。但是,统计只是辅助判断的一种工具,也有些情况,直接看交叉后的结果就能发现差异巨大,无需统计检验肉眼都可以判断,也有些情况下,统计结果显著,但是差异实在是很微小,也不能做出明确的结论。所以统计方法并不是重点,找到可能有关系的因素才是重点,学术研究一般会根据过往的研究提出假设,而实际工作中,绝大部分靠经验,多熟悉产品多了解用户,才会有思路。之前有人提出要做女性地图,认为女性更看不懂地图,需要在图面上有不同的处理。实际调研下来,发现性别既不影响用户使用地图的习惯、也不影响用户对地图的感知。相反年龄明显的影响地图的使用习惯,接下来就需要进一步挖掘年龄的差异了。3.3 相关分析,找影响因素,以及影响程度(1)通过差异分析,我们了解到性别会影响用户的忠诚度,我们还想接着探索用户常用的功能个数是否会影响忠诚度,是不是用的功能越多,忠诚度越高呢?此时需要用到相关分析,使用功能个数是等距数据,使用spss计算Pearson积差相关系数。相关系数介于-1~1之间,绝对值越大关系越密切,符号代表相关的方向。通常情况下,绝对值大于0.4就可以认为这两个数据之间有比较强烈的关系了。所以绝对值越大,说明这个因素的影响程度越大。如果想探索使用频率和忠诚度之间的关系呢,使用频率是顺序数据,此时需要计算Speaman相关系数。相关是在工作中使用比较多的方法,需要注意的是,相关分析只能解释两个变量之间有无关系,不能得到因果结论。因果结论是我们基于逻辑赋予的,工作中,相关关系已经足够我们做判断了。(2)如果我们不只是想探索单个因素与忠诚度之间的关系,还想要探索多个影响因素合并在一起对忠诚度的影响,此时可以使用多元回归的方法。在本调研中,我们可以探索用户遇到使用问题的次数与忠诚度的关系,用户遇到的问题有4种,分别是定位问题、地点问题、路线问题、性能问题。以NPS值为因变量,将这四个问题一起作为因变量,求一个多元回归方程。但是多元回归方程的建立,对数据的要求比较高,实际调研中使用的非常少,相关系数基本够用了。不论是相关分析还是回归分析,都只能反映出变量之间的线性相关关系,如果变量间是非线性的关系,是无法体现在相关系数上的,因此在做相关分析之前,可以先做一个散点图,直接观察一下,两个变量间是否有其他的关系可能。如果是自己做调研,不是拿到数据了才去想怎么分析,而是在编制问卷的时候就要想清楚:我要了解什么问题,需要什么数据支撑,该用什么方法分析?文中提到的所有统计方法,在统计书中都可以找到细致的操作步骤。本文只是列了最粗浅的统计方法,但是往往粗浅的才够直接,对实际的决策最有支持力。参考书目:《量化研究与统计分析》邱皓政本文由 @ 乔溪 原创发布于人人都是产品经理。未经许可,禁止转载题图来自 Unsplash,基于 CC0 协议

每个优秀问卷调查,背后都有一个完整的理论架构

想要做一份优秀的调查问卷,需要遵循什么样的逻辑结构以及工作流程?以下,笔者将详细为大家讲述。一看到这篇文章,出现在你们脑海中的问题是不是:问卷调查怎样设计题目?在哪些渠道投放?如何让用户自愿填表?不好意思,我说的不是这类技巧性的知识,这些只是锦上添花的皮囊。很多人做调查问卷的时候一上来就考虑具体的技巧、方法,而不是对工作进行拆解,导致做出的问卷看似「金玉其外」,其实「败絮其中」。我今天说的是隐藏在这些皮囊之下的内核:逻辑结构和工作流程。在这里,或许你会看到不一样的答案。(小沙将会写一系列关于不同用户调查手段的解析文章,这次的主题是问卷调查,下期分享另一种调查方式,关不关注……呃……随便你。)逻辑结构:海上的灯塔,对问卷调查进行规范,保证不偏离目的地。逻辑结构是透明的,它是一份调查问卷背后的骨架,支撑着所有内容。工作流程:航行中的路线图,能够让问卷调查工作在执行中按部就班达到目的地。按照标准化流程走会让调查工作有条理,不遗漏,减少调整、重来的工作量。一、逻辑结构先来历数一下问卷调查中,毫无逻辑的几个工作方式:不做市场调研,直接根据经验设计问卷。营销人员脑暴会,拍脑袋想出一系列问题,没有具体流程。问题浮于表面,没有真正解决问题。其实每个优秀问卷背后都有一个完整的理论架构,这种抽象而宏观的理论能够指导具体的实践工作。在拿到任务的时候,先不要着手去做,第一件事就是问自己3个问题:问卷调查目的是什么?在现阶段营销工作中是一个什么样的角色?我们针对的人群是哪些?如何获得精准的人群投放?为了达到这一目的我们需要怎样分解工作?1. 目的调查问卷所有工作都是为「目的」服务的,在调查之前停下手中的工作仔细想想:这次调查问卷的目的是什么?这份问卷将要解决营销工作中什么问题?——是为了增加老客户粘性,还是为产品研发提供意见。想通过问卷调查获取哪些信息?——是用户使用新产品的意愿强度,还是定位新产品人群结构。目的,有且只有一个,请清晰地用一句话来表达目的是什么。很多人在做问卷调查的时候本末倒置,花费大量的时间设计问题,反而对调研目的却充耳不闻。时刻谨记:所有问卷问题都需要围绕这一目的去设计,如果目的不明确或者是有偏差,后面所有的工作都将是无用功。2. 人群你的问卷调查是针对某一类人群,而不是上街随便抓一把。想想你曾经在街上被调查的经历,是不是挺滑稽的,你甚至不是这种产品的目标人群,对这一类型的产品根本不感冒。这种问卷调查只是充数而已,没有任何意义。确定了目标,接下来需要确定样本群体:是否有地域/职业差别?是否有年龄/性别差别?如果调查人群有不同的特性,就需要对人群进行划分,设计不同的问题和话术。那么如何确定样本人群呢?市场相关资料:在互联网上有很多免费的数据报告网站,比如艾瑞网、易观智库等。根据市场相关资料来确定样本人群的大致范围,他们有可能就是此次调查的潜在用户。竞争对手:把自己当做消费者,体验竞争对手产品,通过直觉判断竞争对手的样本人群。运营数据:把历史数据调出来,这个样本人群是再精准不过的了。在调查之前需要给人群做一个大致的用户画像,比如:年龄、性别、教育水平、收入水平、喜好等。有人说:我做调查本来就是为确定产品消费人群啊!我说的样本群体是一个虚拟用户,就像小说中的人物一样,不是真实存在的,是通过市场分析、资料分析总结出来的某种角色。你可以通过「猜」来完善这个角色,目的不在于有一个准确的结论,而是为问卷设计的一个大方向。所以,不要害怕确定的样本群体是错误的。3. 分解知道目的和人群后,根据目标分解影响因素,对影响因子进行层层梳理,整个工作流程的脉络就会很清晰地展现在你面前。一个为了增加客户粘性的例子:二、工作流程逻辑结构确定以后,工作流程只需要根据这个结构来进行分解就行了。小沙做问卷调查的大部分时间都花在准备工作上。60%准备工作+20%问卷设计+20%结果回收。准备工作完成,就相当于问卷调查的主干已经出来,剩下的只是执行而已。1. 准备1)了解市场:如果是有关行业、新产品的调查问卷,小沙还是建议先研究一下有关本行业的相关信息,包括:专著、文献、报告等。这些准备主要有两个目的:储备相关行业市场环境知识提供设计问题的思路,但是千万不要以这种广而泛的报告作为自己的可用数据。2)预设结果:所有调查问卷设计者在设计之初都会对调查的结果有个预估。预设也有两个目的:让问卷设计有一个大致的方向。是验证结果,看自己当初预设思路有哪些正确的地方,有哪些失误的地方。但是,我要强调一点:这里的预设结果只能作为结果,不能影响设计的问题。比如:你的预结果是「年轻人使用直播平台的主要目的是用来消遣和娱乐」,而设计的问题有「你平时使用有使用哪些直播平台打发时间」。这种问题有明显的引导性,调查中的年轻人不一定全都使用直播平台。3)头脑风暴:这里的头脑风暴不是在问卷设计阶段,而是在问卷准备阶段。团队发散思维,把目的拆解为几个大板块——即问卷要获得什么信息?包括哪几个方面?然后,团队在策略层面达成共识。这样做的目的:一是避免设计者在方案制定的初期出现思维漏洞;二是为具体的问题设计提供相应的思路。2. 执行执行方面只说几个注意事项:1)小范围预调研问卷发放并不是一次性的工作,而是一个“发放——回收——修改——再发放”的过程。设计者在设计的过程中很容易“思维固化”,难以考虑到其他问题。小范围预调研是打破思维固话的过程,可以把遗漏或者考虑不周的问题直接呈现在设计者面前。先找小部分人群填写问卷,针对填写中发生的各种问题对问题结构和内容进行调整,比如:删除无效问题,修改隐私问题,深入挖掘用户关注的问题。问卷发放了多少不是问题,是否精准才是问题。一百份具有代表性的问卷比一千份胡乱填写的问卷价值要高得多。2)数据化代替主观性经常会看到这样的问卷:什么叫非常关注?也许A非常关注是每个月关注1个,B认为是每个月关注10个,两者对非常关注的程度都不一样。模糊性的问题会让人产生歧义。我们在设计选项的时候,越清晰越好。比如,上面的问题我会设计成这样:您近三个月关注的大学生创新创业方案有几个?1-2个 3-10个 11-20个用数字来代替“非常关注/一般/不关注”这种模糊性词来表示频率要好得多。3)用过去行为预测未来先来看个例子:在一次调查中,公司将要推出上门中医理疗服务,判断当地人对中医理疗的认知程度,设计者提出三个不同角度的问卷问题:你平时会注重中医养身吗?有上门的中医理疗,你愿意付费尝试吗?在过去一年中,你做过几次中医理疗?1是理想型问题:用户脑海中未来自己的样子,并不代表现在的状态。2是引导型问题:对于陌生事物,很多人的判断都是随机性的。3是事实型问题:用户过去的行为,做出的选择很大几率会成为以后的行为。3. 统计一般工作量不大的数据我们直接用excel解决,如果遇到比较复杂的数据则需要用到分析软件,如SPSS、STATA等。不过现在很多在线调查问卷都能直接生成各种图表数据,使用很方便。4. 报告报告需要具有指导意义,重要的不是如何直白地把数据展现出来,而是数据背后的意义以及解决方法,聪明的人让自己的报告有利于观看人阅读。会根据汇报对象来改变自己的报告形式:如果你的报告要发给老板看,最好不要用excel,要用PPT。excel数据详细,是你自己用来分析的。 PPT则是用来呈现结果的。用图表的形式展现此次调查的数据,写出相应的解决方案,并用调查的数据进行佐证,针对解决办法对应相关的业务部门,提出自己的意见。做运营的,调查问卷最常用的投放方式是页面或者EDM。本文由 @小沙 原创发布于人人都是产品经理。未经许可,禁止转载。题图来自Unsplash, 基于CC0协议

冯红

你真的会用吗?盘点那些最常用的市场研究工具(问卷调研篇)

新产品的开发是一个基于信息、数据和知识的风险与回报的决策流程。市场调研为新产品开发过程中正确决策提供了基础信息。本文将针对市场研究过程中常用的市场研究工具做简单盘点:01 常用的市场研究工具「倍市得」,是深耕数据服务多年的数据洞察和客户体验管理平台。结合多年数据服务经验,以及多行业实践经验,将常用的市场研究工具总结如下:焦点小组客户现场深访社交媒体调研问卷调研消费者监测组产品使用测试试销多变量分析与多变量方法众包大数据……02 市场调研之问卷调研:问卷调查是运用统一设计的问卷向被调查者了解情况或征询意见、收集信息的调查方法。通过客户投票的方式,来确定他们对现有产品是否满意或进一步研究新需求。关于问卷内容:为了收集人们对某个特定问题的态度、行为、特征、价值观、观点或信念等信息,我们通常是针对一组特定受访者设计一组固定问题。关于调研方式:通常是以邮寄、电话访问、面访等形式填答,近年来随着移动互联网的普及,在线化、移动化的问卷调研优势越来越明显。03 选择哪一种形式的问卷调研?是否采用问卷作为研究工具,是由该研究工具能否达成研究目标来决定的。而使用哪种问卷调研则视其与研究主题的配合度而定。按问卷载体不同可分为纸质问卷调研和在线问卷调研:· 纸质问卷:是传统调研中较常用的方式,一般是由专门执行人员分发纸质问卷、回收问卷,一般问卷分析与统计效率低、成本高。· 在线问卷调研:是指用户通过在线调查问卷网站来完成分发和统计等工作,以倍市得平台为例,提供从问卷设计、问卷分发、进度跟进、结果分析、报告撰写等一系列服务。相较于其他线下的问卷方式,网络问卷不受区域限制、成本相对低廉,但答卷质量则受到样本质量等因素的影响。按照问卷填答者不同,可分为自填式问卷调查和代填式问卷调查。· 自填式问卷调查:按照问卷传递方式的不同,又可分为报刊问卷调查、邮件问卷调查和送发问卷调查;· 代填式问卷调查:按照与被调查者交谈方式的不同,可分为访问问卷调查和电话问卷调查。04 企业善用问卷调研的7大理由:问卷调查是一种发掘事实现况的研究方式,能使研究者直接从受访者获得资料用于反哺企业的产品研发、营销决策等:了解客户的需求;提出使产品更易于接受的产品改进;找出客户购买和重新购买产品的驱动力;明确应融入新产品的价值主张;预测客户的购买频次、地点和价格;定性调查采用非统计学方法(通常被称为立意抽样或非随机抽样)的一个样本选择方法;定量调查采用抽样统计过程……但是,无论是在统计学还是调查答复的有效性方面,问卷调查结果的信度并不全然可靠。调查设计应交由专业人士完成。倍市得为各行业调研咨询、洞悉市场提供一站式解决方案(关注倍市得公号获取更多资讯)。

做自己

毕业论文问卷的设计思路是什么?

毕业论文问卷的设计思路是什么?问卷设计是研究设计的一小部分,而论文写作是关于如何呈现你的研究结果。要设计一份好的问卷并撰写一篇有价值的论文,你首先需要有一个清晰的研究设计。具体的问卷设计技术可以参考elbaby的社会研究方法。今天我们将首先讨论书中没有涉及到的研究设计的主要思想。研究设计主题选择社会科学的选题取决于社会关注什么,需要研究什么。选题的切入点可分为选题、研究选题和实证选题。如果你关注教育公平的问题,它只是一个问题。如果你把它具体定义为“城乡起源和累积优势”,它的范围会更小,也会成为话题中的一个选题。将研究主题中的概念转化为可操作的经验问题,该主题被认为是成功的。此外,当我们选择一个话题,我们应该尽量选择一个有趣的话题,露出一个有趣的现象,比如大公司的董事的死在台湾,有多少报纸发表讣告,谁参加了葬礼,并与死者是什么关系,等等。一位学者近年来一直在整理报纸,挖掘许多大公司董事之间的关系,研究高层的关系,看看这些人是如何生活在高层的,这是一个有趣的话题。问题的实证研究社会研究理论的哲学基础是事实,这就导致两个当我们做研究的基本思路:1)控制(包括年龄、性别、甚至基因),如果你想学习专业的影响一个人,应该控制在年龄、性别、家庭甚至基因是一致的,但是专业,看到两个(2)随机的不同发展验证假设的主要方法有:回归分析(主要用于社会分层和流动性);方差分析(社会心理学);网络分析(社会资本研究);案例比较(经常出现在组织社会学中);个案研究(文化社会学);民族志(人类学)。问卷设计中应注意的问题问卷的数量必须完成,否则将很难找到丢失的数据项。问卷的基本格式:标题、引言、人口统计信息栏、问卷正文和结尾处的前言不少于三至四句话。谁做的,做什么,谢谢合作,数据是保密的,统计法律需要它。问卷有这些就会显得比较专业的问卷。越专业的人,越认真。参考问卷:CGSS/CFPS/ cep /长江三角洲住户调查、珠江三角洲劳动力市场调查、威斯康辛州社会流动研究抽样问卷调查设计:随机抽样(理论上,一般可用课程论文抽样在每一个场合,如拿着一堆食堂问卷调查,但是专业毕业论文论文不能做),分层抽样(至少150张每层至少30日)以确保样本代表性,如复旦男孩和女孩比例1:1比例随机抽样抽样可以在每一个场合,结果不会有太大的差别。问卷回收率:一般来说,善意问卷的回收率很低。一般来说,回收率低于50%的问卷不能使用。问卷的回收率一般不高于5%(在时间和精力有限的情况下可以使用,但不能用于正式研究)对于随机填表的问题:你可以设计一个问题来验证填表的人有多在乎。你不认识某个人XXX,在学校的数据库中没有搜索到这个人XXX, 3%的人在返回问卷的结果中表示自己经常玩XXX, 30%的人表示自己非常熟悉,大概知道这份问卷的质量。敏感问题:如果孩子是留守儿童,注意变相的问题。例如,你通常和谁一起吃饭?你通常和谁住在一起?你和你父母在同一个城市吗?敏感问题问卷的回收率是一个值得关注的问题。如果回收率低,样本就会失去代表性。本文作者:查查呗免费论文查重

黄缭

如何做好一份问卷调研

前言:问卷调研是一件有门槛的事某一次开会,我让团队的其中一个同学就某一个问题去了解下用户潜在的可能没有被满足的需求,该同学说,“好的,我们做个问卷调查“。我有点崩溃。我想我应该找个时间好好跟大家讲讲:问卷调研是一门有门槛的学问,它不是一个随手可以拿起的工具,做好一份问卷调研需要具备很多意识和能力。这篇文章就是在我准备材料的过程中产生的。问卷是获取有效信息的一种工具,如果工具没有被正确地使用,比没有工具更可怕。工作几年,见识了太多想几个问题,然后把问卷一发,算个众数和平均数,做个饼图就结束的问卷调查了。甚至有一些时候,与其说是在做问卷调研,倒不如说是在寻找「用户的声音」来佐证自己的脑海中已有的想法。我自己的感受,工作中问卷调研出来的结果大都无疾而终。原因有三:一、前期的问卷设计考虑不周,导致收集回来的结果存在歧义不可用。这个问题相对容易发现。二、问卷收集上来的数据没有用合理的方式进行清洗,存在样本偏差。发现这个问题要难一些,需要具备严格样本控制的意识。三、问卷分析的维度过于单一,信息挖掘不足,只能得到一些泛泛的信息,对工作的边际价值很低。要解决这个问题最难,要求分析问卷的人同时具备业务思考和数据分析的能力。下面从我的角度讲讲如何做好一份问卷调研。问卷调研第一步:问卷设计一份好的问卷必须具备基本条件:一、要让用户,并且是所有的用户都能够以与你相同的方式理解问题。需要检视问题中的每一个概念,确保没有歧义。比如:「运动」是否包含「散步」?「月收入」是指税前还是税后、是否包含投资理财等其他收益?二、确保用户能够回答你的问题。用户可能因为不知道相关信息(你上周通过运动消耗了多少卡路里?)、无法准确回忆起相关信息(你上个月有几天没吃早餐?)等原因而无法回答。三、确保用户愿意回答你的问题。如果用户不愿意回答,他们可能随便选择一个答案来应付。如果涉及到比较敏感的问题,让用户知道为什么你要问这个问题,并且让他相信你会对此保密。四、确保每个用户都能找到适合自己实际情况的选项,并且避免诱导他们做出不符合实际情况的选择。除了这些必备的条件之外,我们在做问卷设计的时候还可以藏一点小心思。每一个你认为重要的话题至少设置2个问题可以交叉佐证用户的真实想法。有时候用户对自己的想法没有那么坚定,在问卷中多设计几个跟这个话题相关的问题,换一种问问题的方式,能让你更精准地挖掘到用户的真实诉求;举个例子,「以下几种运动方式,您最喜欢那种?」,可以在问卷中再追加一个问题「运动方式1和运动方式2,你更喜欢哪一种?」如果你调研的对象,本身已经是你的用户了,那么不妨让其留下手机号或者其他你能在系统里面定位到其身份的关键信息,你可以去看看他的数据表现。有时候,用户告诉你的,和他实际行动的并不一致,尤其当其对平台上有一些利益诉求的时候。举个例子:外卖小哥/网约车司机对平台的反馈中,经常出现的情况是吐槽越多的人活跃度越高。这个时候,你应该花点时间关心下没有吐槽但默默离开的那些人,在他们身上发生了什么,这就是「警惕幸存者偏差」。问卷调研第二步:问卷发放“一门百发百中的大炮胜过一百门百发一中的大炮”,同理,一百份精确的具有代表性的问卷远胜过随意填答的上千份问卷。在问卷发放过程能够中,最关注的是“代表性”,而非数量。这里你需要提到一个概念「概率抽样」:概率抽样是指在调查总体样本中的每个单位都具有同等可能性被抽中的机会。如果我们调研的目的是了解用户的痛点,那么总样本中必须包含所有用户,并通过随机抽取的方式抽取调研样本。举一个在这方面做得没有那么好的例子:我所在的团队,之前做过一个用户NPS调研,选取的总样本人群是「过去两周有过完单行为的用户」,这个总样本选择忽略了庞大的近期未完单的用户。因此这个样本是有偏颇的。国内很多媒体经常会用样本数量来证明为自己调查结果是真实的。比如多少网友表示。这其实是错误,你的样本再大,调查人数再多,如果是有偏颇的,那也是没有意义的。比如一个村庄有老人和小孩。调查一万个老人也绝没有调查一百个老人和小孩来的更有意义,更反映现实。有兴趣的可以看一下盖洛普靠总统选举预测发家的故事。问卷调研第三步:数据清洗问卷收集回来了,第一件事要想做数据清洗。如果不做数据清洗,前面做的问卷设计和样本选择都可能功亏一篑。先做「数据质量」的筛查,下面这几种情况的数据不建议采纳:一、问卷漏答数过多的不宜采纳:一般以漏答总题数的2/3为准,例如有10个问题却漏答6题以上者即为无效问卷;或者规定漏答3项以上的,这个可以视具体情况而定。二、填写时间异常的不宜采纳:填写时间太长,被调查者可能中断过,填写时间太短;被调查者可能填写随意。这些都会影响统计分析误差;三、前后题目的回答矛盾的不宜采纳:说明用户的反馈置信度不高,会影响判断。在数据质量没有问题的情况下,需要确保有效样本的分布和总样本的分布保持一致。举个例子:总样本的年龄分布是1:1:3:3:1:1,如果做完上述清洗之后调研样本的年龄分布是1:1:2:4:1:1,则需要剔除掉一些样本,把有效样本的年龄分布也调整1:1:3:3:1:1。一个问卷的有效样本数量控制在1000到2000份之间是比较合适的,如果做完上述清洗之后,有效样本量不足1000份,建议追加调研样本。问卷调研第四步:数据分析问卷数据分析有几个常规的角度:首先是「信效度分析」:这一步主要是看数据的可信度;其次是「描述性统计」:常用的指标有平均值、中位数、众数、方差、标准差等;一般的问卷分析,到这里就结束了,其实我们还能做一些更深入的分析,比如差异性分析、相关分析、回归分析等,这个时候咱们就可以把用户在系统内的真实行为数据放进来了。我自己的经验,两个变量之间的分析很难发现未知的信息,这时候就要引入第三种变量。多变量分析,结果就会有所不一样。最后,再推荐个做数据分析的工具:SPSS。很简单,傻瓜式操作。题外话如果你的目的是通过问卷来定性调研,建议直接做用户访谈,直面用户直接感受,比通过冷冰冰的文字去探究一个陌生人的想法来得更有效。如果要做定量调研,建议周期性做,比如NPS。相比于NPS的分数,NPS的分数的周期性变化来得更有价值。以上,希望问卷调研真的能帮你解决问题。