用户体验度量经验分享
01.体验度量是什么？
简单来说，用户体验度量是通过一套测量体系量化用户体验的过程。
尽管体验很难被科学客观地分析，但将度量这种手段运用于体验的管理是非常有必要的。引用管理学大师彼得·德鲁克的一句话：If you can’t measure it, you can’t improve it（如果你无法度量它，你就无法改进它）。我们相信更好地衡量体验设计的价值，可以帮助我们更好地实现产品价值、用户价值、商业价值，甚至是社会价值。
02.为什么要做体验度量？
下面我们再来分析一下做好体验度量能帮我们解决哪些难题，首先从我们遇到的几个问题出发。
概念过于抽象主观：设计师们提出的体验优化方案被认为过于主观，难以得到直接证据支持，各部门很难达成共识，方案难以推进落地。怎么办？
影响因素复杂多元：现有的NPS满意度调研反映了每个季度的商家整体满意度，但是团队面对NPS结果无法直接定位问题，难以进行有效的诊断和提升。怎么办？
问题难以闭环管理：现有的VoB系统能够收集到一定数量的商家反馈问题，但是这些零散的应急需求很难被高效地纳入体验优化项目。怎么办？
相信大家或多或少遇到过类似的问题，虽然大家有着“以用户为中心”提升“用户满意度”的共同目标，但在过程中具体该怎么做，仍然是抽象模糊的。体验度量恰恰是解决这些问题的关键策略，我们希望通过体验度量帮助京麦达成以下目标做出更好的设计，创造更大的价值。
目标一：让商家体验从“抽象”到“具象”，从“玄学”到“科学”，定义一套被各部门认可的衡量标准；
目标二：与商家建立更加直接的联系，从商家角度直接洞察需求，更有针对性地定位优化问题；
目标三：更好地实现体验设计价值及体验设计体系化，与各部门建立合作关系，长期监测跟进优化。
03.怎么做体验度量？
体验度量一般可以分为五个步骤：拆指标、采数据、做诊断、再优化、续监测。
在京麦一期度量中，我们主要完成了前三个步骤，后期我们会尝试推进后两个步骤，同时也将继续完善现有的度量模型和调研方式。
—— 1. 拆指标 ——
首先我们要明确这个产品的用户体验由哪几部分构成，就比如评价一个人的英语水平如何，我们可以从听、说、读、写这四方面进行评价。
通过比对分析业界相对成熟的指标模型，我们发现各个模型有不同的切入点，比如PULSE模型以网页产品商业化为导向，HEART模型以用户为核心，PTECH模型更适合企业级产品，UES模型更适合技术产品等。涵盖的维度多种多样，有的维度是产品相关指标，比如留存率、日活用户数、转化率，有的维度是用户侧反馈，如NPS净推荐值、满意度。
深入分析这些维度，我们发现几乎所有指标都可以被分为系统表现、用户行为、用户感受这三类。
有了前面提到的三大目标和参考指标，我们开始分析京麦移动端的现有情况。
由于京麦在现在这个阶段已经有了相对稳定的产品形态，市场上也有了同类型的产品。因此，我们首先把完整性作为反映产品系统表现的重要维度，也就是商家需要的、别人家都有的，京麦“有没有”？
第二项维度是参与度，店长是否会通过移动端来经营管理店铺呢？客服是否会通过移动端来答复客户呢？也就是各类角色“用不用”。
而作为一款B端产品，它的使用效率和易用性是至关重要的，我们要关注用户的行为，也就是商家们是否能“又快又好地使用”。
最后一项指标是满意度，它代表了用户的主观整体感受，这也是所有指标中涵盖面最广的一项。总的来说，商家们是否认为这个产品“令人满意”？
TIPS：体验度量具有非常强的业务属性，不同的业务类型、业务阶段、业务规模、资源情况都会有与之相配的不同的合适的度量方式，适合自己的指标才是好指标。
—— 2. 采数据 ——
有了度量指标之后，我们需要通过从不同渠道去收集尽量全面的数据。还是拿英语举例，我们该如何去给听、说、读、写这四部分打分呢？可以通过听力、口语、阅读、写作的统一考试打分，可以让老师根据平时上课的表现打分，也可以让同学互相评价打分。
那么度量的数据也可以有多种来源，比如通过用户访谈得到用户主观使用感受（定性数据），通过问卷调研得到满意度或是易用性评分（定量数据），通过后台数据得到用户的行为数据（定量数据）。
基于移动端京麦现在所处的发展阶段阶段，我们重新明确了我们的调研目标：
- 清晰与竞品差距与机会点；
- 关注核心模块的使用体验；
- 了解用户的主观感受。
因此，我们在这个阶段实施了用户访谈、问卷调研和竞品分析三种不同的调研活动，收集了大量的定性数据及定量数据。
竞品功能完整性对比分析
调研目的
通过分析对比现在行业内同类产品的功能，计算京麦功能的完整性得分。以千牛、拼多多、京麦三个平台六个端为分析对象，测试各一级、二级、三级功能的支持情况。
调研方法
- 确认竞品后，通过使用各家产品的具体功能，拆分一级、二级、三级或更细节的功能，填写完整性分析表；
- 计算完整性得分（京麦具体计算以二级功能为标准，分为六个不同等级，分别对应六个分数）。
TIPS：1. 可以通过与产品同学的沟通，共同完成各级功能模块及相应支持程度的定义；2. 后期可以纳入客观数据指标，结合用户的参与情况、平台满意度计算权重，重新定义重要程度、支持程度；3. 以一个季度为统计周期，及时跟进新上线功能。
线上用户访谈
调研目的
与用户直接对话，较为直接、细致地了解不同角色用户如何使用各功能，以及在使用过程中经常遇到的问题，了解他们的使用习惯和实际需求。获得用户画像、用户使用感受、用户问题反馈等定性数据。
调研方法
- 用户招募：提前1周设计招募问卷，并在QQ商家群投放、回收，筛选目标用户，提前打电话确认访谈意向；
- 前期沟通：添加商家的微信，了解商家的基本信息，预约商家参与时间，并要求商家提前在手机/电脑上安装腾讯会议；
- 访谈大纲：根据具体想要了解的功能模块、用户群体等，撰写访谈大纲，包括开场白、基本信息、具体问题、观察操作提问、延展问题、结束语等；
- 实施访谈：提前预约会议室，打印访谈记录表。需要至少一位主持人、一位观察记录员，访谈时长控制在30-45分钟左右；
- 访谈结果梳理：每场访谈结束，参与者进行快速回顾总结，截取录屏中关键段落，提炼对应的用户行为、态度、问题、需求等信息，逐步建立猜想，并在后续的访谈中进行验证、修改；每轮访谈结束，对共性问题进行分类归纳，梳理电子化在线表格；撰写访谈报告（可能包括用户体验地图、用户画像等）；
- 后续跟进：邮寄周边礼物，并建立商家体验群，维护长期合作关系。
TIPS：1. 提前争取更多利益点吸引商家参与；2. 提前明确目标用户类型，与产品侧配合利用线上使用数据定位筛选访谈用户（如使用经验、使用频率、经营类目等）；3. 提前与受访者沟通，可以让商家准备反馈问题列表，与商家反复确认时间；4. 确认用户接受上访谈使用的设备及场景，对可能出现的意外情况做预案；5. 访谈后，在企业版微信建立相对稳定的商家关系，以便回访；访谈信息整理需要更多人同时参与，尽量在访谈当天或次日完成转录、问题分类，及时补充假设，在后续访谈中验证/推翻；6. 及时从录屏中截取关键段落、截图，便于举证。
线上问卷调研
调研目的
以更大样本量验证访谈结论，同时通过对大量用户的主观打分、行为习惯的分析，得到对产品整体的使用评价，直接获得用户角度满意度、参与度、易用性得分。
调研方法
- 问卷设计：提前1周开始设计问卷，根据前期访谈结果，有针对性地设计各模块、各角色对应问题；
- 问卷投放：针对不同端的问题，分为2个问卷，分别投放；（如果需要长期追踪，建议以季度为单位，以京麦为例，紧跟平台满意度调研投放时间，在1月/4月/7月/10月初分别投放）；提前与产品、运营侧进行沟通，确认上线、下线时间，以及所需物料，如文案、icon、banner等；
- 问卷结果梳理：数据清洗、分析；梳理关键信息，制作图表；输出报告结论。
TIPS：1. 尽量咨询用户研究团队专业人员，听取他们对问卷题目设置的建议，留出组内讨论、线上测试时间，进行1-2轮调整；2. 如果需要长期追踪，建议以季度为单位投放问卷，以京麦为例，紧跟平台满意度调研投放时间，在1月/4月/7月/10月初分别投放；3. 提前与产品、运营同学进行沟通，确认上线、下线时间，以及所需物料，如文案、icon、banner图等。
分析工具：在线分析工具SPSSAU
—— 3. 做诊断 ——
收集了大量数据信息之后，我们需要设定不同维度的权重，并通过一定的规则计算出各指标的最终得分。比如工具类产品，可能更强调用户达成任务的效率，因此易用性和任务效率权重较高，而主观数据的满意度权重则相对更低。
同时每项指标的背后都有一种或多种的数据采集方式，每项指标的数据颗粒度也不同，有的可能只针对一个模块，有的可能涵盖整个使用过程。因此，我们在设定计算规则的时候，要尽可能的全面客观。
最后，将度量体系的各个维度进行加权计算，基于数据表现，可以诊断出产品的提升信号。
完整性|功能完整性对比分析（客观）
目前，京麦在整个商家后台行业中已经处在功能相对较为完善的阶段，因此完整性将作为一个重要指标纳入整个体验度量体系中。通过与其他同类产品对比，可以看出各端功能的覆盖完整度，这一维度是完全客观的度量指标。
易用性 | 用户使用难易程度（主观）
易用性是衡量用户在使用产品各功能时感受到的难易程度的标准，是完全主观的度量标准。在比较了各类可用性测试、易用性测试度量体系后，我们选取了表格中的四项维度和对应的七个问题。通过问卷的形式，以李科特五度度量（强烈反对=20分，反对=40分，中立=60分，赞同=80分，强烈赞同=100分）换算获得了易用性的分数。
参与度 | 各角色用户常用功能模块的使用率（主观）
参与度是衡量用户对各功能模块的使用率的主观度量标准。使用京麦的商家可以按照其工作岗位分为店长、运营推广人员、客服人员、财务人员、技术人员等多种类型，通过对各类人群常用功能模块的使用率的加权平均值，计算整体的参与度。
任务效率 | 各角色用户完成特定任务的投入产出比（主观&客观）
任务效率是用户通过使用京麦完成某一特定工作任务（发布新商品、填报活动等）的投入产出比，通常以时间、完成度、出错率等具体业务指标来具体定义。一期我们以100%-用户主观反馈问题的比例来推测计算任务效率。二期计划：与各条业务线沟通，以他们的业务指标来定义更具体的任务效率指标，通过用户行为监控数据来计算客观的任务效率值。
满意度 | 用户对产品整体的使用感受（主观）
使用季度性《平台商家满意度调研报告》统计得分，也可以在问卷中设置相应打分题进行统计。
—— 4. 再改造 ——
通过前面几个步骤的计算得分，产品已经有了较为宏观的改造方向，我们可以再结合前期调研收集的用户反馈问题，重点解析数据表现背后的原因。这个阶段需要引入更细致的专家评估等方法，对各类问题的优先级进行排序。
我们计划结合产品现有的移动化进程，首先提升完整性，然后分批次地针对核心模块优化易用性、任务效率，并通过概念设计及用户测试等方式进行产品优化改造的快速验证。
—— 5. 续检测 ——
后续，我们也希望引入更多用户的行为数据指标，如用户活跃度、用户增长率、功能插件使用率、页面点击率等，从业务指标中获得更全面的数据信息。
同时引入监测工具，对产品重塑后的关键指标进行持续追踪，周期性监测指标的改善情况，让各部门同时参与体验度量的工作，提升优化产品的效率。从体验度量指标的数据采集到数据分析到数据的可视化，再到最后的优化落地，让体验度量的闭环全程可管理。