问卷调研的优点

问卷调查很多人都做过，但是，到底怎样才能设计一份好的调查问卷呢？本文将从方法到工具，帮你优化你的问卷调查，全文知识点如下：一、自填式还是访问式问卷？调查问卷有两类：一种是自填式问卷， 即“发/邮寄/在线发送”给被调查者，由被调查者自己填写；另一种称为访问式问卷，即按照问卷向被调查者提问，调查员根据回答进行填写。这两类的问卷在设计程序、设计原则、内容与结构等方面相似，只是在设计与使用方法上有区别。一般情况下，企业的市场调查广泛应用自填式，访问式则被学术研究偏好使用。二、一份好的问卷应该具备的结构1、封面信：封面信作为问卷开头，至关重要——能否让被调查者接受调查并认真地填写问卷，在很大程度上取决于封面信的质量。语言要简明、中肯，篇幅宜小不宜大，两三百字最好。第一，介绍“我是谁”。调查者身份信息不能过于简洁，尽量显得具体正式，减少被调查对象的戒备和疑虑。第二，阐述调查内容，即“调查什么”。用一两句话概括地、笼统地指出其 内容的大致范围就行了。第三，表明调查目的。尽量说清调查能够带来的实际意义，给对象营造一种“填问卷=做好事”的感觉。第四，说明调查对象的选取方法和对调查结果保密的措施。此举目的在于进一步消除被调查对象疑虑，最后在信的结尾处，一定要真诚地感谢被调查者的合作与帮助等。2、指导语：用来指导被调查者填答问卷的各种解释和说明，可以理解为“问卷的使用说明”。3、问题：从形式上，可分为开放式与封闭式。开放式问题 ，即简答题，只提出问题，但不为回答者提供具体答案，由回答者根据自己的情况自由填答的问题。优点是允许回答者充分自由地发表自己的意见，所得信息丰富生动。缺点是信息难以统计分析，填答所花费的时间和精力较多，还可能产生一些无用信息。封闭式问题，即选择题，既提出问题，也给出若干答案，要求回答者根据实际情况进行选择。优点是填答方便，省时省力，资料易于作统计分析。缺点是资料失去了自发性和表现力，回答中的一些偏误也不易发现。根据开放式问题与封闭式问题的不同特点，研究人员常常把他们用于不同的调查中。比如在探索性调查中，常常用开放式问题构成的问卷；而在大规模的正式调查中，比如市场调研，则主要采用以封闭式问题构成的问卷。关于问题数量及深浅度设置：一般来说，问题不宜太多，问卷不宜太长，通常以回答者在20分钟以内完成为宜，也不要超过30分钟，问卷太长往往会引起厌倦、畏难情绪，影响填答的质量和回收率。4、编码适用于大型社会调查，专业度高。三、调查问卷的设计流程是什么？完整的过程：前期准备→推理假设→确定选题→围绕假设确定问题→预调研→修改并正式发放问卷→数据处理与分析拎一下流程中需要注意的几点：1、探索性工作要设计一份调查问卷，第一步工作并不是马上动手去列出调查的问题，而是要先做一定的探索性工作。即先摸摸底，熟悉和了解一些基本的情况，以便对各种问题的提法和可能的回答有一个初步的认识。可以围绕所要调查的问题，自然地、随便地与各种对象交谈，并留心观察他们的特征、行为和态度。通过交谈，常常可以避免在设计问卷时出现许多含糊的 问题，也可以避免设计出不符合客观实际的答案来。2、初稿设计设计问卷初稿的具体做法有两种，一是卡片法，二是框图法。卡片法：第一步：根据探索性工作所得到的印象和认识，把每一个问题写在一张卡片上。第二步：根据卡片上问题的主要内容，将卡片分成若干堆，即把询问相同事物的问题卡片放在一起。第三步：在每一堆中，按合适的询问顺序将卡片前后排序。第四步：根据问卷整体的逻辑结构排出各堆的前后顺序，使卡片联成一个整体。第五步：从回答者阅读和填答问题是否方便、是否会形成心理压力等角度，反复检查问题前后顺序及连贯性，对不当之处逐一调整和补充。最后：把调整好的问题卡片依次写到纸上，形成问卷初稿。框图法：第一步：根据研究假设和所需资料的内容，在纸上画出整个问卷的各个部分及前后顺序的框图。第二步：具体地写出每一个部分中的问题及答案，并安排好这些问题相互间的顺序。第三步：根据回答者阅读和填写问卷是否方便等方面，对所有问题进行检查、调整和补充。最后：将调整 的结果重新抄在另一张纸上，形成问卷初稿。两者区别是：卡片法的思路从下到上、从分到总，框图法的思路从上到下、从总到分。3、预调研/试调查这一步在问卷设计的过程中至关重要，对于大型调查来说更是不能不做。具体方法有两种：1）客观检验法：采取非随机抽样的方法选取一个小样本，用这些问卷初稿对他们进行调查。最后认真检查和分析试调查的结果，从中发现问题和缺陷并进行修改。主要检查和分析问卷的：回收率、有效回收率、填写错误、填写不完全。2）主观评价法：将初稿送给该研究领域的专家、研究人员以及典型的被调查者，请他们直接阅读和分析问卷初稿，并根据他们的经验和认识对问卷进行评论，指出不妥之处。4、问卷发放及数据处理工具问卷发放有两种方式：面对面发放：适用于样本量500以下的中小型问卷调研，考验调查员的“搭讪”能力，碰一鼻子灰是常有的事；在线发行/邮寄发行：适用于大型问卷调研，对在线发行来说，工具的选取对发行回收率、有效回收率有极大的影响。比如在我若干次在线搜集的经验里，遇到过各种各样的问题：工具使用卡顿、平台数据已丢失、工具功能不够用……不是撞东墙就是撞西墙。试错之后，对不同使用场景的不同工具也有所心得：1）一般型、中小型调查：excel、简道云就足以应对数据搜集、处理与分析需求；例如，问卷调研（可点击查看），适合在线搜集，页面简洁，图表分析较为多样且操作简单，缺点是无法应对复杂性调研需求。教程可参考：新手入门2）复杂型、大型调查：由于数据分析的复杂性，设计单变量、多变量、回归、方差等数据分析需求，建议使用SPSS进行大型处理分析，缺点是上手较难。教程可参考：经典教材总 结一份问卷从设计到发放、回收、分析，将面临无数让你狗血淋头的挫折，而大部分挫折都是在你开始发问卷了、开始分析数据了才突然发现……所以，切记三思而后行。

传统企业的市场调研部门，互联网公司的用户研究部门，政府的统计局统计队，高校等研究机构，咨询公司……处处可见问卷的身影。投放的问卷的方式有很多：邮寄，随机街访，入户调查，走进特定群体中邀请填写， 电子邮件发放，社交网络传播，熟人滚雪球推荐，站内信投放。在移动互联网时代，还会常用到APP的消息系统推送问卷。一、明确目标和目的 实际上，明确一份问卷的调研目标和目的，并不是调研的第一步，我们的第一步起始于初次和需求发起方的沟通。这个过程中，甚至可以对需求发起方做一次访谈，主要目的是要了解如下内容：多和需求发起方沟通，可以帮助研究者解决几个问题：1. 确定该项目确实适合采用问卷的方式搜集数据。2. 需要反复沟通确认产品设计者的真实意图和对产品的想法。3. 研究者将把与产品设计者的讨论出的想法和意图条理化、具体化、可操作化。二、逻辑通顺，结构清晰 明确了目的以后，研究者会列出与研究主题有关的大纲，例如我们需要调查短视频App的使用者，仅仅通过人人网用户数据是无法筛选出哪些人有过使用短视频App的经历，因此问卷的开头会通过一个或几个简单的问题，筛选出我们需要的人群，不符合条件的人群会提前结束问卷。三、从框架到细节搞定逻辑和大纲以后，就需要打磨问卷的细节之处，这些细节之处包括：指导语的表达，如何提问，选项的设计，填答者体验，信效度等。此外，还需要参考一些周边情况，来设计问卷：如何便于数据分析，如何更适应在线问卷系统的录入等等。1. 指导语简单清晰的表达出调查的发起方的身份，调查的内容和目的，以及填答规则，奖项设置，对填答者表示感谢即可。2. 题型的选择单选和多选题是最常见的题型，此外还有填空题，开放式问答题，矩阵题，排序题，打分题，判断题等等。单选题：适用于询问大部分客观状态和主观体验。如频次，喜好程度，年龄段，学历，收入段，感受，态度等等。比如“你现在几年级？”“你的收入在哪个区间？”“你使用微博的频次？”“你对个人主页的感受？”多选题：适用于提问经历，如“使用过哪些短视频App？”“你卸载客户端的理由有？”“你听说过以下哪些品牌？”。有需要的时候，多选题往往也可以转化为单选题，如“使用最多的短视频App是？”“卸载客户端最主要的理由是App”“你印象最深刻的品牌是？”。填空题：填空题往往能够让我们获得更精确的答案，比如年龄，收入，所在地区，就读大学等等，使用填空题能提供更精确的填答，但也会给后期统计分析问卷带来更大的工作量。在边际效应不明显的情况下，我们可以采用省事一点的方法，将填空题转化为单选题——“你就读于哪一类大学？”，但这样则只保留了不同类型学校的状况，损失了数据信息，因此，是否使用填空题需要综合考虑项目的情况。打分题：常用于对主观感受的评判，如喜好程度、赞同程度、满意度等等。比如：矩阵题：一系列主题统一的问题，需要询问填答者的主观态度/感受/经历时，可采用矩阵的方式提问，减少篇幅和题量，提高填答效率。排序题：通常用来考察用户对某些产品或事物的重要性态度。开放式问答：开放式问答通常较少使用，虽然通过开放式的问题能够获取用户更加深入的心理活动描述，但存在几个问题：填答成本过高，容易造成填答者弃答，影响回收率；即使填答也并不一定能反应填答者的心理活动；后期问卷分析成本增大。四、正确认识问卷调查：方法有优劣，工具依赖人问卷既是一门学问，也是一门艺术，它和写作一样，有高分甚至满分的作文，却没有标准的答案。和写作一样，好的问卷是改出来的，每一份问卷背后都有无数次的字斟句酌。虽然问卷调查的使用如此广泛，但我们仍需要明确的是，问卷调查它只是一种方法，一种优劣势都很明显的搜集数据的方法和工具而已。优点在于可以大范围搜集结构化的数据，适合于统计分析，以窥整体状况。劣势在于无法深入了解个体的心理活动，态度，价值等。通过问卷反应的态度在多大程度上反应了填答者的心理活动，又在多大程度上能够预测填答者的行为也是有很大争议的。就目前的手段来说，人类的心理活动是黑箱，我们只能通过外显的东西来窥探，无法直达内心。我们所做的一切努力都是为了像指数函数那样，虽然无法完全到达，但仍在努力趋近于x轴，问卷调查就是我们所做的努力之一。调研工厂丨https://survey.workEND

在市场竞争日益激烈的今天，光有质量优异的产品和服务，没有对市场进行进行客观的调查和研究，很难确保企业的经营成功。因此，做市场调查，就显得格外重要。市场调查，可以让我们清楚行业市场行情，通过调研了解市场需求、确定目标用户、确定产品核心，才能更好地为消费者服务。市场调查是什么？市场调查是指用科学的方法，有目的、系统地搜集、记录、整理和分析市场情况，了解市场的现状及其发展趋势，为企业的决策者制定政策、进行市场预测、做出经营决策、制定计划提供客观、正确的依据。做市场调查，最简单直观的方法就是进行问卷调查，常规的问卷调查往往指的是线下调研，然而，2020年初，一场突如其来的疫情阻碍了线下调研的步伐，导致许多企业无法在产品上市前顺利开展工作。另一方面，线下调研周期过长，一个项目的时间跨度短则几个星期、长则一个月，当数据拿到手时已经不能反映当前的市场情况了，依据如此滞后的数据做当下的决策无异于刻舟求剑，在效率上根本无法适配现今的决策节奏。而且传统线下调研通过预约面访、电话访问，流动街访等方式进行被访者样本收集，花费的人力物力更大，项目成本费用更高。因此，如何缩短调研周期，减少调研费用成了目前亟待解决的问题，线上调研出现，也成了一个必然的趋势。 线上调研有什么优点？线上调研，能够通过多样化收集方式，实时快速找到真实用户进行问卷收集，从项目开始到项目结束，往往只需要不到一个星期的时间，从而为企业提供更快捷、更高效、更准确的调研数据。因此，采用线上调研的方式，不仅能提高样本收集速度、覆盖更多城市人群，保证人群多样化，最大的优点莫过于大大减少的企业成本费用。

本篇文章整理分享了编制问卷和分析数据的思路，一份合格的问卷都包含了哪些内容呢？作为一枚社科类专业出身的互联网狗，编制过用于学术研究的问卷，也在工作中使用过问卷去了解用户，问卷编制不是凭感觉罗列问题的过程，更像一个设计过程，不断权衡问题的去留、逻辑和形式。在此把编制问卷和分析数据的思路整理出来，共两篇，交流讨论。问卷调研大部分是抽样调研，且填答质量在很大程度上依赖填答者/执行者的认真程度，因此得结论时很容易被diss：“你问卷那么长谁会来答、用户都是故意瞎填的不可信、用户根本没思考都是用脚在答、答问卷的都是专家用户不能代表全体”等等。一份合格的问卷会尽量避免这些问题以得到客观的结论。希望读完本文可以找到一些答案。问题编制会受制于问卷的投放渠道，所以我们先从问卷投放开聊。一、问卷投放1.1 确定调研目的和投放人群调研方法有很多，尤其是在互联网环境下，收集数据的手段变多了，问卷调研的优势在哪里，什么情况下应该使用问卷调研呢？问卷的优点是：可以在短时间内搜集大量的数据，且人力成本较低。在互联网领域，使用问卷调研的场景主要有以下几种：（1）验证需求强度和场景以设计出更合理的功能工作中通过其他方式发现了一些需求点，逻辑推导可行，继而通过问卷做个定量调研，了解需求的场景辅助设计。如：地图上线骑行导航之前有很多用户提建议要求上线骑行功能，但是哪些功能优先级更高？最核心用户群是谁是外送人员么？用户最关心什么信息？这些光靠猜是不够的，通过问卷可以得到更切实的结论。如keep在18年5月份的时候提前调研用户对于短视频的态度，10月的时候上线了该功能，最近又在调研live打赏功能，调研结果如何就看之后会不会上线了。不过在功能上线之前做调研可能会涉及到保密问题，能否做调研还需要结合整体环境来判断。（2）主动收集使用者的感受，不依赖于反馈系统1. 有些功能没有明显的反馈渠道，用户有想法但不知道去哪里反馈，当设计者想要了解用户使用情况时会缺乏参考资料；2. 产品有明显反馈渠道，但用户遇明显的痛点才来反馈，只有一丢丢不爽的时候，一般都懒得反馈，可设计者需要了解这些“小不爽”来打磨产品；3. 有时候产品刚上线或经过几轮迭代，设计者不仅需要看数据，也需要了解用户对产品的主观感受，感知到功能没、用过没、喜不喜欢。如：华为每次更新新系统后都会发送小调研收集问题，两个题目，一个是满意度，一个期望改进的建议，简单直接快速。（3）通过问卷招募用户想做用户调研（焦点小组、深访等），如果不通过外包公司招募，就需要自己设计招募问卷，筛选符合要求的用户。如之前高德地图招募用户，主要说明活动具体事宜和关键的筛选因素。（4）了解行为和场景，在大数据无法体现或获取数据的成本太高时用设计者需要了解用户是在什么样的环境下怎么用产品，为后续的设计提供依据，但有些信息很难在数据上体现；比如骑行导航刚上线时，设计者期望知道用户是怎么用地图的，看屏幕为主还是听语音为主。系统的息屏数据和静音数据很难拿到，因此用问卷的方式来获取。（5）了解行业、市场的情况（这类调研通常与第三方公司合作进行，国内调研公司的官网上有很多实例报告，不详述了）调研目的确定后，调研群体也就明确了，关键是如何触达这些用户呢？1.2 找到触达用户的方法生活中会在各种地方遇到问卷调研：体检单上附带着纸质的满意度问卷；收到航空公司的电话回访；逛商场有人拿着iPad请你回答品牌偏好问卷；买了冰箱到货后上面贴着满意度调研的二维码；邮箱里还会收到一些网站的调研。当用户与服务有触点时，可以抓紧这些触点邀请用户参与调研，此外还可以通过用户留下的联系方式邀请用户，对于互联网产品也不例外。（1）在APP/网站内投放问卷（最普遍）1. APP内有运营位，可以在这些位置上投放传统的问卷邀请（纯文本的、banner+文本的都可以）优点：回收量大；用户对本APP的印象鲜活；可以通过后台筛选投放的用户群体，比如通过人口学信息/设备信息圈定人群，或通过行为经验圈定人群（如：最近三个月使用过骑行导航的用户）缺点:低活跃群体的触达率特别低。2. 还有一种短小快速的调研方式，在某个行为之后触发调研模块，很适合收集特定场景的信息。不过该方法需要在包里添加代码，实现成本高。如搜狗地图导航结束页，keep中途退出课程，都会弹出调研模块（2）通过联系方式投放，短信、邮件发送邀请链接；qq、微信群、论坛发起问卷调研1. 大量的短信投放有一定的费用成本，而且对用户有打扰，在投放前可以先“预投放一轮”，估计一下回收量。2. 邮件投放可能会被屏蔽为“垃圾邮件”，因此投放出去之后要观察一段时间，确保有回收率，如果回收率非常低，则需要考虑其他渠道。3. 在产品的qq群、论坛投放，来填答问卷的很可能是产品的深度用户，该类用户与普通用户对产品的熟悉程度有差异，需考虑到样本偏差。（3）购买/置换三方渠道：仅通过产品自身的渠道，很难接触到沉默和竞品用户，购买第三方的渠道是常规方式，市调公司、问卷公司都有自己的问卷广场和用户社区，大部分都有该类服务。此外还可以扩展多样的渠道合作（和投放广告是一个道理，找准目标群体），比如想了解足球用户的特点喜好，可以在足球类的视频网站上挂问卷；比如招募学生群体可以去高校的BBS上发帖；如某奢侈品APP想了解大众对各奢侈品牌的印象，找FT网合作投放了问卷。1.3 确定投放时间和样本量（1）投放时间投放多久主要是看渠道的回收量，等收回量够了就可以停止了，通过联系方式投放等待的时间比较长，（在做调研规划的时候要考虑到时间成本）。如果是APP内投放，尽量选APP日活高的时候投回收更快，比如抖音明显在节假日期间使用量更高，投放问卷就可以选周末，两天回收量就够了。如果问卷复杂，可以选在半夜上线问卷，在后台监控收上来的问卷数据有无漏洞，因为半夜使用APP的人少，即使有问题还有补救的机会。还需要注意的一点，有些APP的使用人群与时间强相关，就要考虑到投放时长。比如在地图内投问卷，有很多是凌晨半夜填答的，一开始我就纳闷什么用户大半夜的跑来答问卷啊，后来分析了数据发现两类用户：国外用户、夜车司机。所以在地图内投放的问卷，如果晚上发出去，早晨一看数据量够了就暂停了，那样本一定是偏的。（2）样本量如果只是定性收集信息，问卷量没有标准多多益善，如果涉及定量调研需要考虑到样本量。1. 只是通过问卷看大概的趋势和分布，只做描述性的统计，200份一般就可以分析了。比如想了解：大部分骑行用户对于天桥、地下通道这些设施的态度，做小样本的调研结果就比较明朗了。2. 如果要研究细分群体的情况（如：对于设施的态度与骑行工具有关，所以要分别了解骑自行车和骑电动车的用户群），那么要保证细分群体样本量大于100，这样做差异检验的条件都满足。3. 如果要根据样本推断总体就更复杂些。最直观的感觉是：样本量越大，误差就越小，但样本越大成本越高，所以在保证误差范围和可信度的情况下，我们可以根据公式计算出最小样本量。以样本推测总体有两种情况，一种是根据样本值估计总体值（如：通过问卷调研，得到自行车用户平均骑行距离是3km，通过总体推测整体的距离），这种在问卷调研中使用的非常少；另外一种是根据样本比例估计总体比例（如：问卷中10%的骑行用户是起摩托车，以此推论整体摩托车用户的占比），这种推断使用的较多，最小样本量计算公式如下（重复抽样和非重复抽样的公式不同，当总体N很大时，差异很小，这里写的是重复抽样的公式，里面各字母代表的信息随便找本统计书都有）:实际情况中，调研又不是发表论文，不需要给出精确的样本量和置信区间，通常都会多收集一些；大概的样本量和置信度对比如下，做参考即可：需要了解的一点是 ，推断公式是基于随机抽样（包括随机重复抽样、随机不重复抽样）得到的，要使用该公式计算最小样本量，前提是问卷采用随机抽样的方式发放，既：研究总体中每个个体都有相同的机会回答问卷。如果不是随机抽样，即使达到最小样本量也不可以进行推断统计，在朋友圈里或论坛里发的调研不是随机抽样不能做推断统计，在APP内发放问卷从严格意义上来讲也不是随机抽样，理论上讲，用户看到问卷的概率是相同的，但在填答意愿上有差异，之前的经验发现某些人群特质的用户确实更爱答问卷。所以使用推断统计要慎重，尽量分析那些与填答意愿无关的内容。（2）样本代表性：我们要研究的问题很可能与某些因素强相关，因此在做调研时希望样本与总体尽量接近，以避免样本偏差导致结论偏差。如果我们已知某些因素与研究的问题有关，也可以通过一些手段去调整。分桶发放：如果已知总体的分布，并完全按照整体分布抽取样本，就是分层抽样。比如调研用户对全国旅游景点的满意度，按照旅游景区的等级、类型等比例随机抽样即可。但是互联网环境下，很难做到随机抽样，叫分桶投放更合理。比如研究用户在骑行过程中，对天桥、地下通道的态度，性别会有影响，那么在投放前就可以区分性别投放。如果后台不支持，则可以在问卷中增加该问题，方便后续分析。实际调研中影响因素可能会有很多个，不能一窝蜂的都考虑，分桶成本太高，仅考虑强相关的影响因素，1~2个即可。统计方法调整：前期无法按照比例投放，分析数据的时候可以做加权校正（后续再聊）。二、问卷编制2.2 设计问卷整体结构（1）编制问卷首先得了解问卷可以问什么，总结起来如下几类：定性收集使用信息，如使用产品遇到的问题、对产品的建议、期望改进点、使用场景等。定量了解使用情况，如知晓度、使用频率、熟悉度、使用深度、使用习惯、操作路径。定量解用户内心的想法，如满意度、功能期望、方案偏好、价格接受度、行为原因等。定量搜集人口信息，常见：年龄、性别、地域、消费水平、教育程度等，不做详述。定量收集使用环境信息，如硬件设备，天气信息、使用环境等。（2）在设计问卷之前先做前期研究如果是做定量研究，各内容之间可能有相关或因果关系，比如使用频率和满意度，性别和方案偏好等等，所以，在设计问卷之前先看数据、看外部相关调研、做快速的定性调研收集资料，以此提出一些假设，根据这些假设去设计问卷框架，这样后续得到的结论更丰富，也避免遗漏掉重要的现象和关系。如较早之前做过一次调研，整体来看用户对于某方案的偏好差异不大，但交叉分析后发现越年轻越偏爱A方案，能看到很明显的趋势。考虑到年级大用户在整体用户中的占比较小，所以后续做决策的时候主要考虑了年轻用户的选择（后来进一步研究发现是因为年轻用户和年老用户的关注点不同导致的，也很有意思）。此外投放的群体并不一定是目标用户，所以需要通过问卷题目来筛选，并唤起用户的回忆。我的邮箱里曾收到过百度统计的调研，我自己对于百度统计只是注册过，没用过印象非常浅。但是该问卷上来就问用户对百度统计的感受，缺少了筛选项，导致填答者优点懵，也可能会受到不合格的问卷。总结起来，我自己设计问卷结构的思路：确定问卷调研的核心点，一般控制在1—3个，了使用情况、想法态度、人口信息、环境信息等。设置筛选题目，适合回答核心题目的用户，全体用户、使用过某功能的用户（用户筛选也可以通过后台配置）设置衍生题目，通过前期研究或经验发现，那些可能会影响核心题目的因素，方便更多的分析和探索2.2 题目编制与设计有了框架才真正开始编问卷，大部分问卷平台都提供多种题型，还有样本模板，很好用。以下是我自己的总结的一些点：（1）题目筛选。问卷要尽量保持短小，按照问卷结构把想问的问题都录入后，就开始删题目。检查每个问题，问自己还有其他方式获得该类数据吗，如果有就删掉问题。检查每个问题，是否容易回答，在看完题干和选项之后，是否能在3秒内给出答案，如果不能就删掉吧检查开放题目（填空、问答）是不是太多了，一方面问答题给用户更大的心里压力，导致完成率低；另一方面问答题的答案不好分析，大部分需要人工编码，耗时。（2）题目样式。题目样式就是要尽可能清楚的表达出要问题的内容。在用语上且无诱导，无隐私、无态度。此外在编制问题的时候，有时候还会用到以下技巧：①文本不容易描述的时候，考虑用图片，图片上要标准清晰视觉焦点。②有些概念不容易描述的时候，可以先构建一个场景或例子，避开概念，帮助用户理解/带入我们说的事情。如想要找到那些上报过路况的用户，但是很多用户分不清上报路况（事故、封路之类的）和反馈错误（新增地点，道路等），所以不要直接问用户有没有上报过路况，可以先问用户向地图反馈过哪些类型的问题，然后针对那些选择了路况类型的用户提问。③有些问题形式较新颖，比如排序题，滑动条等。可以设计一些辅助题目帮助用户熟悉填答方式。④如果有较长的题干，通过颜色突出重点词，引导用户的视觉焦点并防止阅读疲劳。2.3 自检&审核问卷编写既考验逻辑思维又考验文学功底，实在是很多细节要打磨。所以问卷设计好之后，自己要一遍遍的调整，并请其他同事帮忙审核。我在自检或审核问卷时，主要会注意以下细节：1. 检查有无遗漏题目（比如设置了抽奖，记着留下用户的联系方式或账号，有无设置测谎题目等）2. 检查逻辑跳转，该隐藏的题目是否隐藏了（防止没体验过的用户遇到无法回答的问题）3. 需要用户回忆的，选项是否需要“记不清了”（避免用户忘记了瞎选）4. 没有穷举的选项是否设置了“其他”（避免没有用户的选项，只能瞎选）5. 应该互斥的选项是否设置了互斥（比如“以上均无”选项与其他项互斥）6. 设置的选项之间是是否有交叉（防止选项交叉，导致用户没法选）7. 填空题目是否设置了验证（如手机号、填数字要明确单位，如果有必要使用例子说明）8. 检查用词是否太“术语”，对用户而言有没有歧义（避免用户理解歧义）9. 检查单选题目是否有单一答案，区分”最主要“和”主要“的差异（前者是单选、后者是多选）10. 慎用“排序”等高级题目（因为用户的认知成本太高，可能导致脏数据）11. 检查选项是否需要随机（避免顺序效应）此外还有错别字、语气词、标点符号等等……2.4 预投放当问卷通过了自检和审核就可以投放了，如果有方式，最好做一轮预投放，看一下回收率和完成率，在真实用户那里检验一遍是否还有漏洞。问卷是成熟的调研方式，应用在各行各业，问卷调研的编制是非常大的命题，我仅整理了手机app的调研思路，且以to C 的产品为主，冰山一角。本文由 @乔北一 原创发布于人人都是产品经理。未经许可，禁止转载题图来自 Unsplash，基于 CC0 协议

以下调查研究的方法，只是一些常用的方法。这些方法在调查研究中使用时，并不是单一运用的，往往是多种研究分析方法相互结合、相互补充，以提高研究的深度和精度、提高调研成果的质量和水平。1.会议调查法。是调查研究工作中常用的方法，主要是召集一些了解详细情况的同志，用座谈或讨论的形式，请他们谈谈某些问题的情况和他们对此问题的认识，提出建设性意见。会议调研是一种直接了解想要获得信息的调研方法。2.实地观察法。调查者有目的、有计划地运用自己的感觉器官或者借助科学的辅助工具和手段，直接地考察正在发生的现象，而收集资料的调查研究方法。3. 文献调查法。通过对文献的搜集和摘取，调取相关文献调研，也就是通过查阅相关文献以获得关于调查对象的信息。4.访谈调查法。调查者运用有目的、有计划、有方向的口头交谈方式向被访者了解调查对象情况的方法，或通过电话、电脑、视频等技术间接对话了解事物情况。5.资料调查法。通过收集有关现成的书面资料，查阅各种历史档案，进行调查研究。6.统计调查法。利用固定统计报表的形式，把下边的情况反映上来，通过分析而进行的一种常用的调查研究方法。7.问卷调查法。调查者运用统一设计的问卷并选定一定数量的调查对象，以书面的形式了解情况或征询意见的资料收集方法。8.典型调查法。在一定范围内选具有代表性的特定对象人或事物所进行调查的方法。9.专家调查法。这是一种预测方法，即以专家作为索取信息的对象，依靠其知识和经验，通过调查研究，对问题作出判断和评估。最大优点是简便直观，特别适用于缺少信息资料和历史数据，而又较多地受到社会的、政治的、人为的因素影响的信息分析与预测课题。10.个案调查法。个案调查也称个别调查，是指为解决某一问题，对特定的个别事物进行的调查，如为解决某一问题、弄清某一案情所进行的调查，就属于个案调查。如农民工群体情况调查，在新的社会阶层发展党员问题调查。11.抽样调查法。抽样指的是从调查对象的总体中，按一定方式选择或抽取一部分调查对象的过程。抽样调查指按照一定方式，从调查总体中抽取部分样本进行调查，并用所得结果说明总体情况。12.普查调查法。就是普遍调查、全面调查，它是指依据调查目的所规定的项目以及时空范围，对调查对象总体的全部单位所进行的调查，这是一种全面了解情况的重要方法。

江南易林在以前的文章中反复强调了性格的重要，并且也指出了固执的种种坏处。而今天要讲的则是江南易林刚刚遇到的一个很好的自我反省、自我完善的案例。我们每个人的性格都不一样，各有优缺点，不少的人往往并不具备清醒的自我反省意识，就如同看电视，如果整个人的精神完全沉浸在剧情之中（哪怕是垃圾剧），不加分辨的完全接受剧情（当然了，这也是当前大量垃圾弱智级肥皂剧得以生存的条件），这样难免会有“不识庐山真面目”的局限，也很难对电视剧情本身发起冷静的评判和思索。如果把人比喻成软件，我们就应该做那种可以很方便的升级、打补丁、可扩展的程序，而不是那种写死的无法升级的程序（比如一些写死在硬件上的游戏，如计算器里的程序）。今天要说的这个案例的主人公，是江南易林的一个叫做小熊的好友，该小熊同学在差不多一个月之前，神秘兮兮的给我一个Word文件，我一看，是一份她自己设计的问卷调查表—《调查问卷：关于小熊这家伙》，文章里面的标题是《小熊同学３６０度反馈》，问卷调查的对象，包括她的同学、朋友、亲人、同事、网友等等。问卷的内容包括上述这些人对她的各个方面的认识和感觉，比如第一印象（用一种颜色表示），性格，优缺点，需要改进的地方等等。并且这种调查采取的是无记名的形式，以便让问卷对象能畅所欲言。江南易林在帮小熊填完调查表之后，基本上就差不多忘记这件事情了。没想到这件事情还有后续发展，就在昨天，小熊同学在MSN上貌似羞答答的给我传了一个《小熊的神秘花园——小熊３６０度调查问卷反馈白皮书》，是一个幻灯片文件（PPT文件，总共有21页），里面的标题以及内容措词，给人感觉比较专业，并且还用了很多饼状图的直观的进行了各项指标的分析：参与问卷调查的人群构成（一共调查了70多人），年龄结构，对其解程度自评，性格特点，优缺点等等内容，按照她本人的叙述，“本次调查以不计名方式收取结果，本着不辩驳、不解释原则，除了归并同类项外，对结果进行无更改统计”。从整个调查的开始到最后的总结归纳，都可以看出小熊同学的用心良苦。江南易林之所以赞赏和肯定这种行为，最主要的一点并不是调查问卷内容以及总结的内容有多么好，而是为这种敢于自我反省、自我完善的勇气和决心击节叫好！一个人能想到要用这种方式来调查了解自己，这已经很了不起了。试问：有多少人有这种清醒的意识呢？有多少人敢于面对周围人的评判呢?有多少能平静坦然的接收这种评判的内容呢？（尤其是大家对自己的评论很不好的时候）要知道，回答问卷者并不会故意说好话的，并且小熊同学本身的初衷是为了完善自我，而不是故意去找好话听。我们一般人处于自我保护的本能，面对别人的哪怕善意的批评和建议，多半都是本能的去解释或者反驳，而不是去倾听，以便有则改之，无则加勉。好像人家说了自己几句缺点，自己就很没有面子，或感觉自己不如人家一样，所以很多人面对批评就是解释、反驳、拒不认账，把忠言逆耳利于行这句话，抛到了九霄云外。其实江南易林感觉，无论在工作中还是在生活中，很多不必要的争论和分歧，或多或少都与虚荣心和面子问题有关。比如工作中，甲乙两个人各自提出一个工程方案，会上讨论之后，甲其实明明知道自己方案不如乙，但是往往还是要死撑，除了涉及到奖金、职位提升等利益因素之外，剩下的主要原因就是虚荣心和面子问题了: 老板接受了他的方案而否定了我的，那我岂不是很没面子?岂不是说明我不如他？所以，拼命死撑着争辩到底。这种情况下如果遇到那种糊涂的不能洞悉甲的这种微妙心理的老板情况更是糟糕，只会浪费大家的时间甚至浪费公司的财力物力。总之一句话：一个人如果没有一个适当宽广的心胸和勇气，是不会主动去做这样的调查的。我们知道，自我认识、自我控制和自我激励，是情商指标中的五大要素中的三个重要的要素（另外两个要素是：理解他人的情绪，与他人相处），这种调查就是自我认识和了解一个很好的途径，也为自我的自我完善提供了方向。所以，江南易林写这篇文章的目的，是为了通过这个案例，给那些真心希望自己完善的朋友一个参考。至于具体调查问卷的内容，大家可以根据自己的实际情况来决定。最后，谢谢小熊同学，给了我们这么好一个案例！这样的好熊，一定会过上幸福美满的生活的！江南易林，985院校计算机应用专业硕士研究生，国内著名易学家。祖父为家乡知名风水命理师，也是江南易林最重要的易学导师之一。著有《周易零基础入门教程 》、《周易命理人生探秘》等书。拥有近二十年的易学实战经验，在八字预测、男女合婚、起名改名、剖腹产择日、梅花易数、算卦解梦等易学领域有独到的见解和颇深的造诣。

作者|胡婧炜编辑|赵秋瑶数据收集需要成本，一项调查动辄花费十几万或几十万，有些追踪调查长期积累下来的花费甚至过亿。正因为如此，很多项目负责人在实地调查前不免忐忑不安：我设计的问卷能不能收集到我真正所需要的信息？流程会不会出错？在数据回收后，也经常会发生因为设计上的失误而导致数据缺失、错误等问题然而悔之晚矣的情况。更糟糕的是，有些数据上的错误由于未能及时得以发现和调整，给人们的认知或决策带来极其负面的影响和不可挽回的损失。好的数据贵得是有道理的，数据收集的每一个环节都需要采取有效的质量控制措施，才能规避错误，避免项目投入的钱财和人力付诸东流。其中，在调查项目投放实地之前非常重要的一项质量控制措施就是对设计好的问卷进行测试。遵循一定的程序和技巧，问卷测试可以有效地发现问卷在内容、逻辑、流程等各方面的问题。下面我们重点介绍常见的几种问卷测试的方法：01专家评审（expert review）专家评审指邀请各方面的专家基于其专业领域的知识和经验对问卷可能存在的问题进行评估和提出解决方案。一般来说，专家评审应至少包括四个方面的专家：一是与项目主题相关的领域的专家，主要评估问卷对专业概念的表述是否准确、测量的维度是否全面等；二是调查方法专家，主要评估问卷在设计上的科学性与可行性，如问题是否准确、流程是否适用、数据结构是否合理等；三是项目执行专家，主要评估执行过程中可能遇到哪些潜在的问题，如预算的控制、进度的控制、访员的管理等；四是计算机方面的专家，主要评估计算机辅助访问或网络访问中程序实现的难度以及可能存在的问题。优势：各方专家对问卷存在的潜在问题的识别范围较广，可以覆盖错别字、语病、跳转错误、概念表述错误、数据结构等各方面的错误。快速且成本较低。劣势： 测试的效果取决于专家的水平。只涉及来自专家的意见, 而并无来自实际被访者的意见。02焦点小组访谈（focus group）焦点小组访谈由一个受过训练的主持人带领5-10个被访者组成小组，对特定的调查主题和核心概念进行无结构化的轮流发言及深入讨论，以了解不同被访者对测量概念的理解的差异。举例来说，一项研究希望了解人们观看和体验艺术表演的情况。在焦点小组访谈中，被访者对如何界定“观看和体验艺术表演”产生了争议，比如，在饭店吃饭时顺便听到了饭店的钢琴演奏算不算？在电视上看艺术表演算不算？调研者可以基于这些发现改进问卷，使问卷中的相关概念的界定和表述更加明确。焦点小组访谈应尽可能地确保所招募的被访者在背景、经历和认知上的多样性，以发现尽可能多的问题。在访谈过程中，主持人应营造轻松的讨论环境，确保在不偏离主题的前提下所有人都有机会畅所欲言。优势：方法灵活，成本较低，效率较高。小组的形式可以节省时间，成员间的头脑风暴与深入讨论有利于产生更多意想不到的发现。而当意料之外的想法出现时，小组主持人还可以立马跟进。这种方式可以帮助调研员在短的时间内获取更多的信息。收集的信息直接来自于与实际调查中的被访者相似的群体。劣势：测试的效果受到主持人的专业素养、沟通技巧及其在现场的引导与控制的影响。访谈结论仅仅来自一小部分人群，其在多大程度上适用于更广泛的人群需谨慎考虑。03认知访谈（cognitive interview）在认知访谈中，访员基于设计好的问卷对测试期选定的被访者进行一对一的访问，以了解被访者如何理解问题和如何完成回答问题的任务。认知访谈通常使用出声思维的方法（think aloud）鼓励被访者用自述的方式将回答问题时头脑中的思考过程描述出来，或是使用口头盘问的方法（verbal probing），由访员根据被访者的回答进行引导式的、循序渐进式的提问，如要求被访者按照其对问题的理解重新描述一下问题或解释一下问题中的某一个词语、提问被访者在回答过程中有什么困惑、提问被访者是如何得到答案的等。基于认知访谈，调研者可以评估现有问卷的叙述和逻辑是否合理，或被访者在题意理解上是否会出现偏差等，并基于此对问卷做出改进。认知访谈与焦点小组访谈的目标非常相似，而且与焦点小组访谈一样要求所招募的被访者在在背景、经历、认知上尽可能的多样化。但二者不同的是，焦点小组访谈侧重于与被访者综合地、整体地探讨问卷中的一些核心概念，而认知访谈则侧重于发现被访者在回答一道道具体问题时的思维过程与答题策略。优势：收集的信息直接来自于与实际调查中的被访者相似的群体。通过了解被访者在理解和回答问题时的思维过程，可以有效地发现问卷设计中的问题和导致问题的原因。劣势：成本较高。被访者负担很重，而且并不是所有被访者都能够适应出声思维的方法，也不是所有的问题都能够描述出思维的过程。被访者可能因为需要口头描述其思维过程而有意无意改变原本的答案。访谈的实验室环境与实际收集数据的环境有差异，不一定能发现实际环境中的问题。访谈结论仅仅来自一小部分人群，其在多大程度上适用于更广泛的人群需谨慎考虑。04预调查（field pretest / pilot）预调查指在实际调查前小范围地对整个访问的过程进行预演。预调查通常选用有经验的访员进行访问，访问的数量在15-35人之间，被访者多为方便样本，但尽量保证与实际调查中的被访者的背景相似。除了被访者不是基于概率抽样的方法选出，预调查所使用的问卷以及所有的流程都与即将进行的实际调查一致，这样有利于发现实际数据收集过程中被访者或访员可能出现的问题。大体来说，预调查的优势是能够模拟真实的数据收集过程，发现真实环境下可能出现的问题，并可以提供定量的可供分析的信息；劣势是成本相对较高，而且数据同样不具有代表性，测试的效果很大程度上取决于被访者多大程度上与实际调查中的被访者相似。预调查的结果可以通过以下三种方式来进行评估，我们下面依次介绍以下三种方法：（1）访员汇报（interviewer debriefing）调研者通过访员问卷调查或者访员间小组讨论来获取来自访员的意见。访员汇报的主要内容是他们在整个访问过程中的体验，以及他们实际遇到的或者他们认为可能存在的各种问题。优势：可以反映问卷给受访者带来的体验和困难，以及访员对导致问题的原因的评估。劣势：仅适用于有访员参与的面访或者电访调查。信息往往是主观和非系统性的，如对于什么样的问题可以称之为问题，不同的访员的评判标准是不一样的。访员发现问题的能力有差异。比如说，有经验的访员可能会无意识地修正问题中的错误，因而可能根本意识不到问题的存在。（2）被访者汇报（respondent debriefing）调研者通过在原问卷上添加额外问题或再次联系被访者的方式获取来自被访者的意见。被访者汇报主要用于了解实际访问场景下被访者理解和回答问题的思维过程，以评估所收集的数据在多大程度上符合设计的预期。被访者汇报还可以了解被访者答题的主观体验以及对调查的整体反馈，如问题内容是否太过敏感、调查时间是否太长等。优势：可以有效地了解实际访问过程中被访者回答问题的思维过程，评估他们在理解和回答问题时可能出现的问题并进行改进。劣势：添加太多的额外问题会实际改变测量的工具并影响到预调查的流程，使得预调查并不能真正地模拟真实调查的情景。因而这种方法只适用于对一小部分问题进行评估（一般不超过6道问题）。再次联系被访者获取的信息的准确程度依赖于被访者的记忆能力。（3）行为编码（behavior coding）调研者在获得被访者同意的前提下，通过音频的方式全程记录访问的过程，然后对这些音频记录中访员和被访者询问和回答问题的行为进行编码，并统计出调查过程中出现各种问题的频率。其中，对访员行为的编码包括是否正确读出问题、是否对问题进行了改动以及改动程度如何、是否出现跳转错误等，对被访者行为的编码包括是否要求重读问题、是否要求解释问题、是否提供了选项之外的答案、是否打断问题、回答问题的语气是否不太确定等。对于出现频率特别高的问题，调研者应该考虑进行改进。优势：客观、系统、可复制、可量化的测试结果可以为研究者提供更可信的证据。劣势：编码只能反映访问过程中出现的问题，却很少能提示问题出现的原因，通常需要结合访员或被访者汇报来识别出产生问题的原因。有些问题不能被很好的观察到，比如只要被访者自己认为自己能够正确理解问卷中问题，他们在答题行为上便不会有任何异常的体现。05统计方法（statistical methods）统计方法建立在预调查的基础上。当预调查的数据量足够大时（一般30人以上），可以采用统计的方法并结合计算机技术来对问卷结果进行客观的评估。通常来说，检查答案的分布可以得到一些有益的启示。比如说，如果一道问题的大部分的答案都集中在一两个选项，那么这道问题所收集的信息其实是非常有限的，选项的设置很有可能需要重新调整；再比如说，如果一道问题没有人问答，那么研究者可能需要考虑这道问题是否在跳转上存在错误，或者这道问题是否太难以致于被访者无法回答等。此外，变量间的相关关系是否符合预期也是评估问卷设计的一个依据。如果是网络调查，那么对并行数据（paradata）（如击键行为、鼠标的移动、答题时间、中途退出等信息）的统计分析也能发现一些问题。比如说，如果大量受访者在某一道题退出访问，那么这道题有可能太过敏感以致于很多人都放弃答题，或者这道题在编程上存在问题以致于很多人在答到此题时主动或被迫退出（如加载速度过慢）。再比如说，如果某道题的答题时间过长，那么这道题可能回答的难度过大。优势：对于调研者评估问卷数据的质量能够提供非常有用的信息。基于已有的预调查数据进行统计方法的评估，成本是相对低廉的。劣势：数据不具有代表性，其所提供的信息的价值取决于被访者多大程度上与实际调查中的被访者相似。除以上5种常用的问卷测试方法外，针对一些具体的测试目标我们还有别的一些具体的测试方法，此处不再一一介绍。总的来说，各种方法有各自的侧重点，我们可以根据项目的具体情况着重选择其中一种或几种测试方法。同时，由于各种方法都有其局限性，我们建议在经费许可的条件下，尽可能地采取多种测试方法，以互相补充，尽可能多地发现问题。文献：Fowler, Floyd J. 1995. Improving Survey Questions: Design and Evaluation. SAGE Publication, Inc.

当你需要关于自己产品的用户体验数据时，然而，你却不知道从哪里获取？那么首先，你需要选择正确的研究方法。接下来，我们来看看这些当下最流行的定量研究方法。许多用户体验专家倾向于采用定性的研究方法，原因在于他们认为：定性的研究方法要比定量的研究方法更容易操作和节约成本。其实，他们忽略了与定量分析联系紧密的大样本量以及数据统计的巨大前景。如果你也是这样认为的，那你也就错了！定量的研究方法是任何有经验的UX研究人员必须掌握的重要技能。定量用户研究的方法允许你做以下事情：用一个数值来表示你产品的可用性。数值有时比质量检测的结果和视频更有说服力（特别是当你试图说服像高管这样的人）时。比较不同的设计（比如，你的产品的新旧版本，或者是你的产品与竞争对手的产品相比），并且确定你观察到的差异是否具有统计学意义，而不是随机的。改进用户体验权衡决策。比如，如果预期的设计改进成本很高，那么它值得做吗？如果你已经想到这种改变会提高可用性，那么定量研究方法可以帮助你验证重新设计是否值得。将用户体验的改进与企业目标以及关键绩效指标结合起来（从而证明你的投资回报并且证明你的用户体验团队存在的价值）。这篇文章可以让你清楚的知道，用户研究的第一步是：确定要使用哪种定量的研究方法。接下来，我们将会给大家介绍一些当下最流行的定量研究方法：定量可用性测试（基本测试）网站分析（或APP分析）A/B测试或者多变量测试卡片分类法树状测试调研或者问卷调查聚类定性评价满意度调研眼动测试以上每种方法都会产生有价值的定量数据，但是这些方法在收集的数据类型以及所需的资源和工作量方面差别很大。一、九种定量用户研究方法概述本文列出了这些方法最常见的示例，并对每种方法的成本和难度进行了评估。与其它任何研究方法一样，这些方法中的每一种都可以适用各种不同的需求。根据具体情况，你的成本和困难可能与我们的粗略估计有所不同。此外，你应该意识到，这些方法中的每一种都需要不同的最小样本量来确定统计的意义。1.定量可用性测试（基本测试）：用途：随着时间的推移跟踪可用性；与竞争对手比较。成本：中等收集难度：中等分析难度：中等方法类型：行为（用户做了什么？）使用的情境：基于任务尽管不常用，但是，定量可用性测试（有时也称为可用性基准测试）与定性可用性测试其实非常相似：两种方法都要求用户使用产品去执行实际的任务。两者的主要区别在于：定性可用性测试优先考虑如何观察用户行为，比如，识别可用性问题。相比之下，定量可用性测试的重点则是收集数据指标，比如任务时间或者成功率。一旦你收集了相对较大的样本量（大约35个或者更多），你就可以使用它们来跟踪产品的可用性，或者将其与竞争对手产品的可用性进行比较。如果在产品的迭代过程中，你一直追踪着一些产品的可用性指标，那么你就可以创建一张类似这样的趋势图。这种类型的信息可以帮助你持续关注产品的用户体验，并确保它随着时间的推移而逐步改进。你所选择的可用性测试的类型（现场测试、远程引导测试或远程无引导测试）将对成本产生影响，并且难以与此方法相关联。由于定量和定性可用性研究的目标不同，测试的结构和进行的任务也需要有所不同。2.网站分析（或者APP分析）：用途：发现问题或确定问题的轻重缓急；监测性能。成本：低收集难度：低分析难度：高方法类型：行为（用户做了什么？）使用情境：现场分析数据，描述了用户使用线上产品的各种操作行为，比如，他们去了哪里，点击了什么，使用了什么功能，他们从哪里来以及到哪里去。这些信息可以帮助你做各种各样的用户体验活动。特别是，它可以帮助你监测各种内容、UI或产品功能，并识别哪些不能正常运行。3.A/B测试或者多变量测试：用途：对比两种设计方案成本：低收集难度：低分析难度：低方法类型：行为（用户做了什么？）使用情境：现场虽然，你可以使用分析指标来监控产品的性能（如上所述），但你也可以创建一些实验，来检测不同的UI设计，然后，通过A/B测试或多变量测试来改变这些指标。在A/B测试中，团队需要创建同一界面的两个不同的最新版本，然后将每个版本展示给不同的用户，用来确定哪个版本的性能更好。例如，你可以创建同一个操作按钮标签的两个版本：“获得定价”或“学习更多”。然后，你就可以跟踪统计两个版本中按钮的点击次数。多变量测试的操作方式也是类似的，但是，它与A/B测试不同的是：多变量测试需要同时测试多个不同的设计元素（例如，测试可能涉及不同的按钮标签、排版和页面上的位置）。这两个基于分析的实验，对于决定同一个设计的不同变体非常有用，并且可以结束团队关于哪个版本最好的争论。A/B测试是将网站流量（用户）拆分为两部分：一部分导入到A方案，另一部分则导入到B方案。这种方法的一个主要缺点是：它经常会被滥用。有些团队没有尽可能长时间地运行测试，收集不到足够的样本，就匆忙的下了结论，这样的结论往往失败的风险很大。4.卡片分类法：用途：确定信息架构的标签和结构成本：低收集难度：低分析难度：中方法类型：态度（用户说了什么？）使用情境：不使用产品在卡片分类研究中，参与者会拿到一些内容项（有时是写在索引卡上的），并要求以一种对他们有意义的方式对这些项目进行分组和标注。这个测试既可以亲自进行，也可以使用物理卡片或者使用类似于OptimalSort这样的卡片排序平台进行远程测试。当卡片排序测试是亲自进行时，用户对物理卡片进行排序和分类，每张卡片都包含了它所代表的内容的描述。这个方法可以让你有机会了解用户的心理模型。他们使用什么术语？他们是如何将这些概念组合在一起的？对创建类似分组的参与者的百分比进行定量分析，可以帮助确定哪种分类方法对大多数用户来说是可以理解的。5.树状测试：用途：评估信息架构的层次结构成本：低收集难度：低分析难度：中方法类型：行为（用户做了什么？）使用情境：基于任务而不是使用产品在树状测试中，会让参与者尝试使用网站的分类结构来完成任务。这种方法本质上是一种评估界面信息架构的方法，通过这种方法可以将界面上的其它信息区分开来。例如，假设你的产品是一个宠物用品网站，而这是它顶层的层次结构。网站信息层次结构的显示可能看起来是这样的，树状测试要求参与者在这样的层次结构中找到一个特定的条目（例如，项圈），他们首先看到的只是顶层的分类（例如，狗狗、猫咪、小鸟等）。一旦他们做出一个选择（例如，狗狗），就会看到自己选择相应选项的子类别。你可以要求你的参与者在一个任务中找到狗项圈。对树状测试结果的定量分析将显示人们是否能够在信息层次结构中找到该项的正确路径，以及可以确定有多少参与者选择了错误的类别。这种方法有助于确定界面信息架构的结构、文案以及放置的位置是否符合用户的心理预期。6.调研或者问卷调查：用途：收集调研用户的态度和行为信息成本：低收集难度：低分析难度：低方法类型：态度（用户说了什么）使用情境：任何问卷调查是一种灵活的用户研究工具。你可以在不同的环境中进行测试，比如，在一个实时网站、电子邮件或可用性测试之后进行简短的拦截调查。调研时可以同时获得定量和定性的数据，比如评分、多项选择题中的答案的比例，再加上开放式问题的答案。你甚至可以把对调查的定性回答转化为数字数据(参见下面的代码质量评论部分)。像这样的语义差别等级量表，每个单选按钮代表一个数值。被调研的用户可以选择：1.容易使用；5.难以使用；或选择介于两者之间的选项。对这个问题的平均回答来衡量你的应用程序在使用上的难易程度。你可以创建自己的自定义问卷，也可以使用其它已经建好的问卷模版（例如，系统可用性量表或网络推广者评分）。问卷的一个优点是：可以经常将你的调研结果与行业或竞争者的分数进行比较，看看你做得怎么样。即使你创建了自己的自定义问卷，也可以随时间的推移对自己产品平均分数进行追踪，来监控产品的改进情况。7.聚类定性评价：用途：确定定性数据中的重要主题成本：低分析难度：中收集难度：中分析类型：态度（用户说了什么？）使用情境：任何这种技术不是数据收集的方法，而是定性数据的分析方法，它包括根据共同主题对定性研究（例如日记研究、调查、焦点小组或访谈）的观察结果进行分组。如果你进行了大量的观察，你就可以计算出一个特定主题被提及的实际数量。例如，假设你做了一个日记本研究，让参与者在他们的日常生活中，每周都要报告他们使用产品的时间，目的是理解他们使用产品的背景，你可以算一下用户在工作、家中或外出的时候使用产品的比例。这种方法可以识别特定主题或情况的流行程度或频率，例如，用户抱怨的频率或UI问题。这种方法可以很好地从大量的定性信息中挖掘数值数据，但它可能耗时会非常长。8.满意度调研：用途：确定与你的产品或品牌相关的属性成本：低分析难度：低收集难度：低分析类型：态度（用户说了什么？）使用情境：基于任务定量可用性测试试图使用量化的方式来衡量产品的质量，比如：审美情趣、品牌实力、语气等。这些研究可以根据你的研究问题进行定制，但这些方法通常会首先让参与者接触到产品（通过向他们展示静态图片或者要求他们使用现场产品或原型）。然后，要求用户通过从描述性的词语列表中选择一个来描述当前设计。如果你获取自身目标用户的样本量足够大，那么整体趋势就会显示出来。例如，你可能会有84%的受访者将此设计描述为“最新”。9.眼动研究：用途：确定哪些UI元素是分散注意力的、可发现的或可找到的成本：高分析难度：高收集难度：高分析类型：行为（用户做了什么？）使用情境：基于任务眼球追踪研究需要特殊设备来追踪用户的眼睛注意力轨迹，因为他们在界面间移动。当许多参与者（30个或更多）在同一个界面上执行相同的任务时，有意义的趋势就会出现，你可以清楚地看出页面的哪些元素会吸引用户的注意力。眼动跟踪可以帮助你确定哪些界面和内容元素需要强调或者弱化，从而使用户能够轻松的实现他们的目标。眼球追踪软件可以使用聚合的凝视数据（用户在这里查看界面，用绿点表示）来创建各种可视化效果。进行眼球追踪研究的一个主要障碍是高度专业化、价格昂贵和不稳定的设备，这些设备需要大量的培训才能使用。二、选择一种方法（九种方法概况表）上表提供了上面讨论的研究方法的概况。三、从你的研究问题开始1.当你要确定使用哪种定量研究的方法时：首先，你得先确定你要研究的问题：你想知道什么？以上方法中有一些非常适合一般性的研究问题。例如：我们产品的可用性是如何随着时间变化的?和竞争对手相比，我们做得怎么样?我们的哪些问题对于产品的影响最大？我们该如何确定其优先级?对于这些类型的问题，你可能需要使用：定量的可用性测试、web分析或调查问卷。2.当你有一个想要回答的具体问题时：以上方法中也会有好的方法来研究以下这些问题。例如：我们应该如何调整我们的全球导航分类？我们的大多数用户怎么看待我们的视觉设计？在dashboard中，我们应该使用这两种设计方案中的哪一种呢？对于这些研究问题，你可能需要使用：A/B测试，卡片分类，树状测试，编码定性评论法，满意度调研，或眼球追踪。然而，在这些建议的方法中有一些不可控的因素。例如，由于安全或者技术原因，你的公司可能不会选择A/B测试的方法。如果是这样的话，你能做的就是发起一个面对面的可用性研究来对比两个原型。然而，这并不是定量可用性测试的典型应用，所以我在这里就不讨论它了。四、考虑研究成本在研究问题之后，选择研究方法的第二大影响因素是成本。这些方法在成本上的差异很大程度上取决于你如何实现该研究。你使用的工具，要求的参与者数量，以及研究人员花费的时间都将影响最终的成本。更复杂的是，许多团队的研究预算也有很大差异。再者，这里的成本估计是相对的。预算相对较低的团队可能需要依靠数据收集分析的方法，比如，使用远程可用性测试、在线卡片排序平台（如OptimalSort）、A/B测试以及网站分析（或APP分析）的方法。根据经验，面对面的方法（比如面对面的可用性测试，面对面的卡片排序）往往成本比较高，因为它们需要很多的研究人员和时间成本。此外，他们还要求外出和租赁专业设备。眼动测试应该是这里列出的最昂贵的方法了，只有那些拥有大量预算和专门的用研团队才会使用它。这张图显示了本文中讨论的定量研究方法的位置，即它们适合于研究问题（一般到特定）的不同维度级别。五、总结一旦你选择了一个方法，就要去了解和学习！结束之后，确保你能够按照你想要的方式和计划进行研究，并保证能得到对自身有用的结果。要注意的是：你不能只收集数据指标，不做任何统计分析就开始做决定。仅仅收集5个用户的评级响应是不够的，要取一个平均值，然后再继续。对于这里讨论的每种方法，都有不同的建议最小样本量。为了获得可靠的数据和确定统计的意义，你可能需要收集数据点的数量需要达到最小样本量才行。如果不这样做，就不能保证你的发现或者结论是正确的。不管你使用哪种方法，一定要把握好需要你研究相关统计学概念的时间，以及获取正确的最小样本量的成本。你要相信，这并不像表面看起来那么困难，而你最终获取的定量数据一定是有价值的。原文作者：Kate Meyer原文链接：s/quantitative-user-research-methods/译文校对：不器#专栏作家#熊猫小生，，人人都是产品经理专栏作家。高级交互设计师，UED负责人。关注互联网C端产品设计相关，擅长移动端产品交互设计，前沿设计风格探索，设计流程优化和管理，欢迎交流~本文翻译发布于人人都是产品经理。未经许可，禁止转载。题图由译者提供

幻想着用简单的招数，打遍所有复杂的情况是不切实际的。而对于“新产品”和“成熟产品”它的调查问卷设计，采取一样的招数去，也是不切实际的。对“新产品”和“成熟产品”的调研目的一般是不同的，怎么说的来着？下面把关键点提取出来：新产品：针对新产品的调查，主要是为了验证新产品的想法是否靠谱，更进一步，需求的满足是否合适。如果是定量调研的话，最好能够收集一些真实的用户反馈数据。成熟产品：针对新产品的调查，主要是为了新的功能点是否得到了用户的认可，如果有必要的话我们可以怎样进行优化设计。所以呢，这两种情况下的调查问卷的设计自然就是不同的。新产品的调查问卷相对来说更具发散性，而成熟产品的调查问卷则更具有针对性。也正因如此，一份标准的统计信度高的调查问卷对于成熟产品来说则成为了一种可能性。下面我们分别进行说明：一、针对“新产品”的问卷设计我们都知道，问卷调查法可以作为用户研究的重要的一种方式。而用户研究，简单来说，就是通过和用户直接或间接交流来知道用户在想什么、想要什么、行为动机是什么等。不过与用户访谈不同的是，研究者通常是无法在问卷期间和用户产生互动行为的，那意味着什么呢？意味着这种被调查者单项输出的行为是具有极高风险的，于是这就为调研结果的统计信度带来了影响。要知道这可就触碰了我们的底线，是可忍孰不可忍，叔可忍婶也不能忍。自然而然的，我们得在问题的设计上下功夫！1. 表明来意来，把之前的金句来出来再背一遍“但凡调研，必有目的！”。但是这个目的我们不能只自己烂熟于心，除了和小伙伴们交流，还要在合适的时间用合适的方式告诉你的调研用户，只有它知道你想干什么才能更好地配合你。什么叫合适呢？如果是线下的问卷调查，那么你在用户开始填写问卷之前先和大家说清楚这份问卷是关于什么的、是用来做什么的、共有多少道题、答题时有什么需要注意等就是合适的。而如果是线上调查问卷，那么你把这些关键点标红加粗放到问卷开头，并且要想办法降低用户的学习成本则是合适的。那么毫无疑问的是，我们制作的调研问卷也应该紧紧围绕“我要调研什么”、“我要从哪些方面调研”这些重点，所设计的问题也都必须是围绕调查目的最必要的题目，可要可不要的题目就等同于可以放弃掉的题目。2. 问题具有带入感当用户面对抽象的问题时通常是手足无措的，当他们不知道针对该问题如何回答时，那么最有可能的一个选择就是放弃作答。于是，问题的设计最好具象并具有代入感。这样就帮助答题者更好地理解问题，并尽可能给出更准确的答案。例如：某商场想要了解顾客大多使用什么品牌的牙膏，那么在询问这一问题时，应该如何设问呢？错误示例：请问您使用什么牌子的牙膏呢？正确示例：请问您最近三个月使用什么牌子的牙膏呢？很明显，正确示例通过时间的限定使得模糊的信息变得更清楚，当然你也可以根据不同的产品设定不同的限制条件。另外一点需要注意的是，在问卷设计中一定要避免专业术语。不过这一点有时比错别字更难修改，错别字错了就是错了，但是一些常用的术语你自己都已经习以为常了，根本不觉得是什么术语。这个时候可以请朋友或者家人来帮忙，他们对你的工作不熟悉，有时一眼就能发现。3. 内容要严谨何谓严谨？我们可以这么理解：一份问卷无外乎由两个部分组成，一部分是问题，一部分是选项。那么所谓的严谨就是指问题要明确无歧义，选项要互斥且包含全部可能性。错误示例一：对于XXX牌牙膏的包装与味道，您是否喜欢呢？错误示例二：使用XXX牙膏后，你的XXX问题是否得到了改善？ A：没有 B：改善了这里示例一的错误在于，一次询问了被调查者两个问题，所以无论被调查者给出的答案是“是”还是“否”，你都无法判断这是对包装还是味道的肯定还是否定。而示例二的错误在于，被调查者可能没有使用过XXX牙膏，这样就无法做出回答，所以应该再加一个：“没有使用过XXX牙膏”的选项。4. 不要引导错误示例：大家都觉得XXX牙膏很好，你觉得呢？注意：我们撰写的是一份调查问卷，是想通过一个个“面无表情”的问题得到用户更真实的答案。而不是撰写一份销售传单把产品卖出去，更不需要教育用户。如果你这样做了，那么很容易引起从众心理效应。可能本来被调查者并不喜欢XXX牙膏，但是看到题目里“大家都觉得XXX牙膏很好”，就很有可能会选择和大家一致的观点。类似的错误还包括权威效应，即有权威和地位的人所说的话、所做的事更会引起他人重视，这部分的观点在问题中呈现时也会对被调查者产生错误引导。总之，一切具有暗示性的表达，都不应该出现在你的问卷里。5. 整体结构核心问题设计完成后，我们需要完善问卷的主题结构，当然这个是可以更具实际情况进行裁剪的。下面给出相对完整的框架：（1）开头部分问卷标题、问候语、问卷编号（可以是系统自动生成的）以及问卷填写说明。目的是让用户第一时间了解本问卷的主题是什么，另外通过填写说明减小用户填写中存在的少部分低级错误。问卷编号用于标识每份问卷的独特性，便于后期问卷定位和筛选。（2）筛选部分将不符合本问卷调查的对象筛选出去，提高问卷调查效率，最终确保问卷分析结果的有效性。（3）主体部分整个问卷调查内容的核心所在。（4）背景部分用户性别、年龄、职业等基本信息，背景部分价值体现在对用户类型的分层分析，假设对于同一个需求，不同类型的用户表现是否存在差异。至此，针对“新产品”的调查问卷的设计就结束了。我们能够发现这类问卷更加发散和定性，我们下面看看定量问卷如何设计。二、针对“成熟产品”的问卷设计“成熟产品”更适合使用标准化问卷，原因我们开头说过，那么什么是标准问卷呢？标准化问卷，是对特定问题使用特定的格式，按照特定的顺序呈现的可重复使用问卷，对于用户的回答也有特定的计算方法和规则，可以科学地量化用户体验。简单而言，标准化问卷是对某一特定问题的重复使用问卷，其数据结果更方便相关方有效沟通。常见的标准化可用性问卷，有整体评估问卷、任务评估问卷和网站感知可用性评估问卷。下面给大家做一个展示：整体评估问卷：用于完成一系列任务场景后，对产品或系统整体的感知可用性测量。目前使用较广泛的有：QUIS（Questionnaire For User Interaction Satisfaction）、SUMI（Software Usability Measurement Inventory）、PSSUQ（Post-Study System Usability Questionnaire）、CSUQ（Computer System questionnaire）、SUS（System Usability Scale）。任务评估问卷：每完成一个场景任务，让用户对该任务进行感知可用性测量。目前使用较广泛的有：ASQ（After-Scenario Questionnaire）、SEQ（Single Ease Question）、SMEQ（Subjective Mental Effort Questionnaire）、ER（Expectation Ratings）、UME（Usability Magnitude Estimation）。网站感知可用性评估问卷：在网络开始流行时，出现了更有针对性的评估网站感知可用性的问卷。目前广泛使用的有：WAMMI（Website Analysis and Measurement Inventory）、SUPRQ（Standardized Universal Percentile Rank Questionnaire）。对于以上的各种问卷想做深入了解的朋友可以自行查找，我们本篇只拿SUS来和大家说说。为什么是它呢？我们知道用户体验是近几年大热的概念，可用性的概念也随着互联网的发展变得众所周知。而SUS (系统可用性问卷)正是针对系统可用性进行整体评估的问卷。而且它有很多优点：相关介绍多；题少（只有10道）；免费！！！特别是免费这一点，当初看见它免费的时候多少人眼睛都湿润了！（要知道，有些收费的费用都不低！）。1. SUS初相识SUS最初是Brooke于1986年编制的，量表由10个题目组成，包括奇数项的正面陈述和偶数项的反面陈述，要求参与者在使用系统或产品后对每个题目进行5点评分。样例如下：什么？看不懂？翻译一下：你可能觉得这个太固定了，不过没关系！在使用SUS的过程中，我们可以对题目的词语进行替换，这些替换对最后的测量结果都是没有影响的。比如：“系统”可替换成网站、产品或者自己产品的名称等。2. SUS用在哪？这么三种情况是最常用的：同一产品或系统，新旧迭代版本的对比。比如：某App首页改版后，新旧首页的对比。同一产品或系统，不同终端之间的对比。比如：某产品的PC端、App端进行比较。同类型竞品之间的比较。比如：苏宁、京东、当当三款App使用后进行比较。而且我们能发现整个量表题目陈述简单，只需参与者打分，实施起来很快。另外，测量结果是介于0-100之间的分数，容易理解。据说多个实证研究表明SUS效果相当不错，比如：有个叫Tullis的高手曾做过研究，结果表明在样本量有限的情况下，SUS可以最快达到效果（就像上图表现的那样，虽然我也没太弄明白啥意思…）。另外也有大样本的研究得出SUS的信度系数为0.91，不得不说，对于通常情况下的问卷调研，这是个值得信赖的表。2. SUS如何使用？（1）计分当参与者做完一系列任务后，就可以快速对SUS进行打分。然后就需要对每个题目的分值进行转换，规则如下：奇数项计分采用“原始得分-1”，偶数项计分采用“5-原始得分”。由于是5点量表，每个题目的得分范围记为0~4（最大值为40），而SUS的范围在0~100，所以需要把所有项的转换分相加，最终再乘以2.5，即可获得SUS分数。除了获得SUS量表总分之外，还可以获得分量表得分。在SUS中，第4和第10项构成的子量表为“易学性”（Learnability），其他8项构成的子量表为“可用性”（Usability）。为了使易学性和可用性分数能够与整体SUS分数兼容（范围也是0~100），需要对原始分数进行转换，规则如下：易学性量表转换分数的总和乘以12.5，可用性量表乘以3.125。Tips：因为SUS记分时是用的0~4个距离，为了让总分是100，所以计算SUS总分时要乘以2.5。但是可用性的题目为8个，总分值在0~32，所以应该是计算出8道题的总分，然后乘以100/32，易学性的计分类推即可。（2）解释SUS分数反应的是总体可用性，同时也包括两个分量表的特性。对于总体可用性，在下图中可以直观地查看并解释SUS分数的意义：除此之外，也可以将SUS分数换算成百分等级来解释。百分等级是什么意思呢？就是指被测量的产品或系统相对于总数据库里其他产品或系统的可用性程度，可以简单理解为排名。比如：SUS得分是73分，其百分等级大约为67，意味着比大约66%的产品可用性更好。这给我们的一个提示是什么呢？就是从企业研究团队的角度来看，如果可以沉淀以往的研究并建立企业自己产品或系统的SUS数据库，从而获得自身的基准数据，这是最好不过的。当然，这个基准数据也有可能是内部团队制定。三、问卷如何投放？首先我们要知道投放问卷三要素：时间（投放时间范围）、地点（投放渠道）、人物（针对哪些用户进行投放）。投放渠道常见于这两种：消息推送和app活动页。渠道1：消息推送（1）短信优点：可实现问卷的精准推送；缺点：成本高、无法获知短信反馈数据。（2）EDM邮件优点：可实现问卷的精准推送，成本较低，能了解邮件的打开率、点击率、送达率等邮件反馈数据；缺点：使用邮件设备的局限性（PC偏多、手机偏少）。（3）微信公众号优点：成本低、可实现全范围的推送；缺点：有一定的局限性（局限于微信公众号内的粉丝）。APP消息推送优点：成本低、可实现全面推送或精准推送、提高app用户活跃度；缺点：增加app卸载率、受限于移动设备的消息通知功能。渠道2：APP活动页问卷内置在APP里，其实质为活动页，那么活动页的展示可以很多样。比如：APP启动页、首页活动轮播图、活动页列表等。相对于消息推送，APP问卷活动页属于被动调查，主动权在用户。缺点：用户参与度较低、未能实现精准用户调查；优点：问卷有效性比较高。为什么说问卷的有效性比较高？可以这么理解，因为主动权掌握在用户手里，那么凡是填写了反馈问卷的，都是乐于反馈的，问卷结果的真实性自然得到保障！不用多说，这样的渠道价值更高！就是参与度低了点。如何提高参与度呢？需要做强有力的吸引和鼓励！四、如何吸引用户填写问卷？1. 赠送积分或优惠券为了吸引、鼓励用户来填写完成问卷，一般会给予用户积分或者优惠券，从而提高问卷调查量。但是这种形式的前提是APP存在积分或优惠体系，另外是要问卷完成后需要知晓用户id，确保积分或优惠券能准确送达对应用户id中。2. 抽奖线上直接抽奖：用户完成问卷后，直接在线抽奖并公布抽奖结果，这种抽奖形式及时性强。线上参与，线下抽奖：用户完成问卷后，企业根据用户问卷内容是否准确、是否认真，进行定向发放奖品，这有利于提高整体问卷质量。如果你担心这么做对问卷的可靠性忽悠影响，那么可以在用户填写问卷之前先说明：系统会只能计算你答案的真实性，你填写的越认真，中奖的概率越高。作者：王小默，公众号：小默日历本文由 @王小默 原创发布于人人都是产品经理。未经许可，禁止转载题图作者提供