Paper之ACMCH&UIST&ICUC&IJHC：2009年~2019年人机交互技术(计算系统人为因素会议&用户界面软件&计算国际会议&国际人类计算机研究&人机交互的交易)历年最佳论文简介及其解读

Paper之ACMCHI&UIST&ICUC&IJHC&TCHI：2009年~2019年人机交互技术(ACM CHI计算系统人为因素会议&ACM用户界面软件和技术研讨会&ACM泛在计算国际会议&国际人类计算机研究杂志&ACM关于人机交互的交易)历年最佳论文简介及其解读Paper之ACMCHI&UIST&ICUC&IJHC：2009年~2019年人机交互技术(计算系统人为因素会议&用户界面软件&计算国际会议&国际人类计算机研究&人机交互的交易)历年最佳论文简介及其解读相关文章AI之HCI：人机交互Human-Computer Interaction的简介、发展历史、案例应用之详细攻略Paper之ACMCH&UIST&ICUC&IJHC：2009年~2019年人机交互技术(计算系统人为因素会议&用户界面软件&计算国际会议&国际人类计算机研究&人机交互的交易)历年最佳论文简介及其解读2009年~2019年人机交互技术(ACM CHI计算系统人为因素会议&ACM用户界面软件和技术研讨会&ACM泛在计算国际会议&国际人类计算机研究杂志&ACM关于人机交互的交易)历年最佳论文简介及其解读领域热词用户（users）虚拟现实（virtual reality）增强现实（augmented reality）会议期刊来源ACM CHI Conference on Human Factors in Computing SystemsACM CHI计算系统人为因素会议ACM Symposium on User Interface Software and TechnologyACM用户界面软件和技术研讨会ACM International Conference on Ubiquitous ComputingACM泛在计算国际会议International Journal of Human Computer Studies国际人类计算机研究杂志ACM Transactions on Computer-Human InteractionACM关于人机交互的交易论文介绍Guidelines for human-AI interaction人工智能交互指南论文作者Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, Adam Fourney, Besmira Nushi, Penny Collisson, Jina Suh, Shamsi Iqbal, Paul N. Bennett, Kori Inkpen, Jaime Teevan, Ruth Kikin-Gil, and Eric HorvitzACM CHI Conference on Human Factors in Computing Systems 2019 (CHI 2019)论文地址https://dl.acm.org/doi/10.1145/3290605.3300233论文摘要人工智能的发展为用户界面设计带来了机遇和挑战。人工智能交互的原理在人机交互领域已经讨论了二十多年，但是随着人工智能的进步和人工智能技术在面向人类的应用中的日益广泛的应用，还需要更多的研究和创新。我们提出了18个普遍适用的人机交互设计指南。这些指导方针通过多轮评估得到验证，其中包括一项由49名设计从业人员参与的用户研究，他们对20种流行的人工智能注入产品进行了测试。结果验证了指导方针在一系列交互场景中的相关性，揭示了我们知识上的差距，突出了进一步研究的机会。基于这些评估，我们相信这套设计指南可以作为一种资源，供致力于利用人工智能技术的应用程序和功能设计的实践者，以及对进一步发展人工智能交互设计原则感兴趣的研究人员。研究问题人工智能（AI）领域的快速发展给用户界面和交互设计带来了新的机遇和挑战。虽然人机交互届对人和AI交互的原则原理已经进行了20多年的探讨，我们仍需要更多的研究和创新来解决人工智能新技术及其面向人类的应用不断涌现而带来的新科学及社会问题。作者提出了18条具有通用性的、可适用于多种应用场景的、针对人和AI交互的设计指导，指出现有知识的空缺及未来的探索方向。这份指南不仅为AI设计师提供了具体、可操作的建议，还旨在推动用户体验和工程开发从业者就设计决策的相关问题展开讨论，推动这一领域研究的研究方法文章提出了18条人工智能交互设计指导，并进行多轮的实例评估来验证其有效性，包括通过一个用户实验，邀请48位设计师以这些设计指导为工具来测试20项广泛使用的有AI技术支持的用户产品。指南内容包括：G1.帮助用户清晰的理解AI系统的能力所及；G2.帮用户树立对AI系统表现（如出错率）的正确期待。：G3.根据上下文设计好服务响应和中断的时机；G4.显示与上下文（用户当前任务及环境）相关的信息；G5.确保用户体验与其社会及文化规范相一致；G6.切实减少AI系统的语音及行为中可能存在的刻板印象和偏见。G7.保证需要时能容易且迅速的激活或请求AI系统的服务；G8.保证能够方便的取消或忽略不适当的AI系统服务；G9.保证AI系统出错时用户可以对其进行编辑、修改、或者恢复设置；G10.AI系统在不确定用户需求或目的时可进行适当问询或者以得体的方式降级服务；G11.向用户适当解释AI系统的行为及背后依据。G12.记住用户最近的交互模式，通过短期记忆提升使用效率；G13.学习用户长期的行为模式，提供个性化的体验；G14.降低AI系统升级或进行自适应调整时可能给用户带来的干扰；G15.引导用户在日常使用过程中向AI系统反馈其交互体验及偏好；G16.及时向用户传递其行为可能对AI系统将来的服务带来的影响；G17.让用户能够在全局层面定制AI系统对数据的监测及其行为模式；G18.将AI系统的变更适时通知给用户。本文着重于在用户界面审查过程中可以很容易评估的设计指导意见。因此，没有包含诸如“建立信任”这样的抽象原则，而是侧重可观测的、可能可以帮助建立信任的具体措施。过去的工作也提出了不少影响人和AI交互系统可用性的设计方针，但主要适用于AI模型建立阶段。未来可以进一步加强设计师和AI工程师的合作，在实际应用中进一步理解如何更好的评定不同指导意见的优先级并平衡各方面的用户体验。研究结果本文通过三轮的评估，从150多条AI相关的设计建议中提取并验证了18条针对人与AI交互领域的通用设计指导意见。随着越来越多的科技应用以AI作为驱动力，本文希望能通过推广这些设计指导实现真正以人为本的AI交互系统。 本文研究整合了人机交互届对人工智能交互设计20多年的探索、思考、经验和教训，是一篇非常及时的综述性文章。不同于时下对于如何让AI模型更可用的针对AI从业人员研究，作者从设计师的角度出发，侧重讨论了在交互设计过程中需要注意的问题。另外，在提出设计指导意见时很好的权衡了适用范围以及可操作性，为其结果真正在实际应用中推广奠定了良好的基础，有着现实的指导意义。Voice Interfaces in Everyday Life日常生活中的语音交互界面论文作者ACM CHI Conference on Human Factors in Computing Systems 2018(CHI  2018)CHI 2018, April 21–26, 2018, Montreal, QC, Canada论文地址https://doi.org/10.1145/3173574.3174214论文摘要语音用户界面(VUIs)正变得无处不在，通过智能手机嵌入到日常活动中，通过“助手”设备嵌入到家庭生活中。然而，这类设备的用户究竟是如何在日常社交互动中使用这些设备的，仍未得到充分研究。通过收集和研究在参与者家中部署了一个月的Amazon Echo的音频数据(通过人种方法论和对话分析提供信息)，我们的研究记录了VUI用户的系统实践，以及如何在家庭复杂的社会生活中完成这种使用。我们提供的数据显示，该设备是如何负责并嵌入到诸如家庭聚餐等各种同时进行的活动的会话设置中。我们将讨论VUI如何与谈话的顺序组织巧妙地协调。最后，我们定位了VUI交互责任、请求和响应设计的含义，并对设计“对话”接口的概念提出了概念上的挑战。研究问题随着越来越多智能产品内嵌语音交互界面（后简称 VUI），工业界和学界产  出了不少计算语言学或自然语言理解方面的研究成果，但却鲜有语音交互设备在  生活场景中的实证使用调研。作者以此空白为契机，着重调研了语音交互和其他  日常活动并行时的用户反馈，以及多方对话场景下的话论顺序处理。文章也涉及  更为宽泛的三个领域：VUI 发展进程，VUI 调研中的会话分析，设计、部署和研  究 VUI 时需要的方法论。研究方法该研究沿用 HCI 文献中普遍的常人方法学和会话分析方法，记录了五户家  庭一个月内使用 Echo 音箱的数据，收集了用户与机器六小时的对话语料进行解  读。唤醒语音助手后，祈使指令和提问是常见的两种触发形式。对语音助手的指  令会开启和机器间的话论转换；未收到音时的静默能推动话论前进；用户自发纠  正说法也能推动话论延续。语音设备回复后，用户会有后续反馈，本文暂且讨论  三种形式：静默也是用户的回复方式；用户会明确指出问题；用户也会纠正会话。作者不认为语音交互的界面本质是对话的，用“对话界面”来命名基于语音  的人机交互方式也不妥当。日常对话中的话论转换和毗邻对是自然产生的，而语  音交互界面中的问法其实会刻意迎合会有的答案。因此，作者主张把任务型的  VUI 设计称为请求/回复设计，而非对话设计。研究结果本文通过解读真实场景中和音箱的交互语料，展现了语音设备是如何并行参  与到家庭对话中的；也发现除却设备自身的功能可用性，用户在社交场景中的行  为也要为最终的 VUI 效果负责；同时本文还探讨了用户使用 VUI 时的触发和接  应方式；最后提出三点概念性问题为后续 VUI 的设计和研究提供方向。本文研究可谓填补了语音设备在真实场景中的调研空白。除此之外，很多易  于被忽视的事实也被作者拎了出来。技术人员常常关注语言计算，业界设计师常  常掉入逻辑或话术细节，鲜有人高屋建瓴地研究 VUI 使用情况。诸如静默也能  推动话论前进、“对话设计”的命名纠正、关照用户发问的易用性等观点都是“跳  出了盒子”的崭新思考。TipText: Eyes-Free Text Entry on a Fingertip Keyboard指尖上的键盘：可盲打的指尖键盘输入法论文作者 Zheer Xu, Pui Chung Wong, Jun Gong, Te-yen Wu, Aditya Nittala, Xiaojun  Bi, Jürgen Steimle, Hongbo Fu, Kening Zhu, Xing-Dong YangACM Symposium on User Interface Software and Technology 2019 (UIST  2019)论文地址https://doi.org/10.1145/3332165.3347865论文摘要在本文中，我们提出并研究了一种新的基于微拇指手势的文本输入技术。我们的技术特点是将一个微型QWERTY键盘隐形地放在用户食指的第一节上。文本输入可以用拇指指尖轻敲食指指尖进行。利用反映用户对食指按键位置自然空间感知的空间模型，对键盘布局进行了优化，使之不受眼睛的干扰。通过一系列的用户研究和计算机模拟文本输入测试，我们展示了我们设计和优化键盘布局的方法，在设计空间超过1,146,484种可能性。结果是一个2×3的网格，字母高度限制了QWERTY键盘的字母和空间排列。我们的用户评估显示，实验结束时，参与者的平均文本输入速度为11.9个字每分钟，打字速度为13.3个字每分钟。研究问题在这篇论文中，我们提出并研究一种新的文字输入技术。我们的技术特点是一个微型QWERTY键盘隐藏在用户食指的第一段。可以使用拇指尖轻触食指尖来执行文本输入。键盘布局优化为无眼输入，利用空间模型反映用户对食指关键位置的自然空间感知。通过一系列用户研究和计算机模拟文本输入测试，我们提出了设计和优化键盘布局的方法。结果是一个2×3网格，字母高度受限于QWERTY的字母和空间排列。我们的用户评估显示，参与者的平均文本输入速度为11.9wpm，并且在实验结束时打字速度可以达到13.3wpm。随着可穿戴设备以及普适计算的普及，人们越来越需要一种易于携带且跨平  台通用的输入设备来进行交互。与此同时，基于拇指和食指指尖的微手势作为一  种新型的跨平台交互方式有着得天独厚的优势：快速，简单易学（把食指指尖当  作触摸板，用大拇指进行点击）而又隐蔽（有利于保护隐私）。这使得微手势特  别适合输入空间十分有限的可穿戴设备。本文的主要目标就是为基于微手势的文  字输入设计一种合理而高效的盲打键盘来论证可行性，并通过用户实验证明了这  种输入方法可以达到理想的输入效率（在完成 40 个短句后速度可以达到每分钟  最高约 13.9 个单词）。研究方法本研究使用用户调研（user study）的数据采集方法和基于用户盲打数据的计  算机仿真（computer-based simulation）来为微手势盲打键盘挑选出最好的键盘布  局，并使用统计解码（statistical decoding）方法来实现文本输入，最后通过用户  评估实验（user evaluation）来衡量整个输入法系统的性能。本文将字母聚合的概念针对性地引入到指尖键盘上（即每个键对应多个字母，  类似于传统的 9 键键盘），并和触控屏上文字输入的统计解码器创新性结合在一  起，克服了高混淆度对文字输入效率的影响。本文选择了基于计算机模拟的计算设计（computational design）方法：通过  先采集少量用户数据，再使用计算机进行大规模模拟用户输入的方式来量化评价  每个候选布局。这样的流程提高了对用户数据的利用效率，从而在一个极大的设  计空间中科学而高效地寻找到了最符合人类行为模型的最优解；在采集用户数据的时候，本文开创性地采用了“在虚拟世界中重构现实世界”  的方法：通过将动作追踪系统和 3D 游戏引擎结合的方式来精确追踪拇指指尖和  食指指尖的运动轨迹，从而计算出两者接触时的碰撞点。这种方法将传感器对用  户行为的潜在影响降低到最小，最大程度保证了实验结论的严谨性。研究结果本文通过开创性地将新兴的微手势交互技术运用到生活中常见的文字输入  任务上，证明了在指尖键盘上进行文字盲打的可行性，不仅进一步打开了应用微  手势交互技术的思路，也给进入了可穿戴设备时代的文字输入系统设计带来了更  多的可能性。本文遵循计算设计的思想，根据用户的行为数据最大程度为指尖键  盘优化了键盘布局，并在此基础上实现了一个概念论证的原型系统，在用户评估  中表现出了令人满意的系统性能，从而进一步证明了盲打指尖键盘可以高效地完  成文字输入任务。本文首创了在极小的键盘上进行盲打文字输入任务，为“在可穿戴设备上缺  乏足够的文字输入空间”这一问题提供了全新的解决思路。与此同时，本文遵循  着计算设计的理念，在一个极其复杂的设计空间中抽丝剥茧，最终找到了一个充  分考虑指尖盲打键盘的特点的最优键盘布局。在用户评估的过程中，整个系统展  现出了很高的鲁棒性和有效性，以及良好的性能。值得一提的是，本文在人机交  互顶级会议 UIST 2019 上获得了最佳论文的荣誉，究其原因在于为一个迫切的现  实问题提供了崭新而又极具启发性的想法，并用科学严谨的实验流程向读者展示  了如何将一个看似不可行的想法一步步实现的全过程，其中许多实验及设计方法上的贡献已经超越了文字输入这一特定问题，给整个人机交互领域带来更多的启 发和思考。ElectroDermis: Fully Untethered, Stretchable, and Highly Customizable  Electronic Bandages电子皮肤：完全不受束缚，可拉伸且高度可定制的电子创可贴论文作者Eric Markvicka, Guanyun Wang, Yi-Chin Lee, Gierad Laput, CarmelMajidi, and Lining YaoACM CHI Conference on Human Factors in Computing Systems 2019(CHI 2019)论文地址https://dl.acm.org/citation.cfm?id=3300862论文摘要可穿戴设备已经成为一种越来越有前途的交互平台，为人体注入了随时可用的计算能力。这打开了广泛的应用程序，包括谨慎的信息访问、健康监视、健身和时尚。然而，与之前的平台不同，可穿戴电子产品要求结构上的一致性，佩戴者必须感到舒适，柔软，有弹性，具有审美吸引力。我们设想在未来，电子产品可以暂时附着在身体上(如绷带或派对面具)，但在功能和审美上都令人愉悦。为了实现这一愿景，我们引入了ElectroDermis，这是一种制造方法，可以简化高功能性和可伸缩的可穿戴电子产品的创建，这些可穿戴电子产品通过将刚性电路板离散成单个组件来实现适形和完全不受束缚。这些单独的组件使用可伸缩的电线连接在一起，并装配在氨纶混纺织物上，以提供高功能性，坚固的形状因子，可重复使用。我们详细描述了我们的系统-包括我们的制造参数和操作限制-我们希望研究人员和从业者可以利用。我们描述了一系列的实例应用，以说明我们的系统的可行性和实用性。总的来说，我们相信ElectroDermis为可穿戴电子产品提供了一种互补的方法——它重视非永久性的概念(也就是说，不像纹身和植入物)，更好地符合人体的动态特性。研究问题近些年柔性电子材料飞速发展，并在电子产品、医疗、健康检测、柔性交互  界面等领域进行着颠覆性的创新。然而，相比于传统的电子设备或者电子器件，  柔性电子显示出来的功能和应用还并不强大。很大程度上这是由于缺少对柔性电  子工艺的集成和制作流程的设计，使得其从技术到应用还存在不小的差距。本文  以此为动机，研究可用于皮肤表面的柔性电子交互界面的完整的设计到制造的流  程，并更好地支持柔性电子可拉伸及可定制的特性。研究方法本文采用 HCI 领域常用的原型设计、制作、展示及评估的方法。文章首先对  所研究的问题进行了阐述，提出了设计上需考虑的因素，并针对每一个研究因素  提出了解决方案。然后文章通过原型及示例应用的展示提出了解决方案。最后文  章进行了必要的评测及对未来工作的讨论。设计工具：文章首先开发了一套设计软件，支持用户通过简单的操作在 3D  扫描的人体模型上标出想要应用的区域，如膝盖、手肘等部位。软件自动完成所  选几何平面的铺平，以准备后续的实物切割和制作。软件预存了电路设计图并自  动在铺平的表面完成布置。同时，软件还嵌入了图形样式生成器，在不影响功能  的同时提高了设备的美观。多层制造：本文采用了多层制造的工艺步骤。本文首先设计并制备了小型化  的电子元器件，包括电池、控制器、若干传感器等，同时采用光刻机制成波浪形  的连接铜导线，具有很好的伸缩性和可弯曲。本文考虑市面上常见的、容易买到  的、可直接进行激光切割或模切成型、且具有很好的粘附性能的材料：选用氨纶  作为基质，可提高设备的弹性和实用性；选用医用薄膜来粘接设备和皮肤，可支  持快速的贴合和去掉。在进行多层拼接时，首先将铜包板层压到 PDMS 基底上  并进行切割，然后通过热塑性的聚氨酯热敏膜与之进行键合，形成的薄膜背面贴  上之前准备的电子元器件，并将整体通过热处理与氨纶基质进行粘合。功能展示：本文作者通过该工艺展示了多种柔性交互界面的应用场景，包括  可以检测体温，心跳的随身贴，检测饮食活动的智能项链，检测伤口愈合情况的  创可贴，检测环境中出现的颜色的指示灯，捕捉肢体运动的传感器等。每一个设  备从设计到制作完成，都不超过 1 个小时。性能评测：本文通过拉伸对设备进行了应变测试。通过观察发现该工艺制作  的连接线具有很好的拉伸能力，在 171%应变的情况下其导电能力才受到明显的  影响。本文也进行了旋扭拉伸测试，并发现在旋转两圈和 70%应变的情况下，设  备的性能会收到明显的影响。总体而言，本文展示的设计方案所呈现的柔性界面  表现出了优秀的柔韧度。研究结果本文展示了一套完整的柔性交互界面的设计和制作过程，通过多层结构的设  计和材料的选取，使得设备不仅能够适用于不同的交互场景，同时具有优秀的拉  伸特性。这一制造工艺的设计，有利于新手设计师更便捷的进入到柔性电子设备  的开发中。本文的研究背景是柔性电子产业的飞速发展，带来了电子产品新形态的产生，  也推动着可穿戴设备的发展。在关注柔性电子技术的同时，本文作者发现从技术  的发展到应用的落地还存在不小的差距，而弥补这一差距的途径之一就是通过设  计和制造，使得柔性电子的优秀技术能够快速的得到应用。本文的优势是借荐了  如柔性导线结构、柔性多层制造工艺等先进材料领域的成果，并带入了如使用氨  纶作为基质，医用薄膜作为粘附层等创新的设计思路，完整地考虑了从设计到制造到交互应用的各个步骤。本文展示了近几年人机交互与材料学科的交叉融合、  设计及创新，已成为人机交互技术发展的一个重要领域。ReconViguRation: Reconfiguring Physical Keyboards in Virtual RealityReconViguRation: 在虚拟现实中重新配置物理键盘论文作者Daniel Schneider, Alexander Otte, Travis Gesslein, Philipp Gagel, Bastian  Kuth, Mohamad Shahm Damlakhi, Oliver Dietz, Eyal Ofek, Michel Pahud, Per Ola  Kristensson, Jo¨ rg Mu¨ ller, Jens GrubertIEEE International Symposium on Mixed and Augmented Reality 2019  (ISMAR 2019)论文地址 https://ieeexplore_ieee.xilesou.top/abstract/document/8794572论文摘要实体键盘是个人计算机常用的外设，是高效的标准文本输入设备。最近的研究研究了实体键盘如何应用于身临其境的头戴式显示虚拟现实(VR)中。到目前为止，键盘的物理布局通常被移植到VR中，以便在标准的桌面环境中复制输入体验。在本文中，我们探索如何充分利用VR的身临其境，在VR环境中改变物理键盘交互的输入和输出特性。这允许单个物理键被重新配置为相同或不同的动作，可视输出以各种方式分布在整个虚拟现实键盘表示中。我们探索的输入和输出映射重新配置虚拟演示物理键盘和调查结果设计空间的具体设计、实施和评价九VR-relevant应用程序:emojis,语言和特殊字符,程序快捷方式,虚拟文本处理宏,窗口管理器,一个图片浏览器,一个打地鼠游戏,安全的密码输入和一个虚拟触摸酒吧。我们在一项有20名参与者的用户研究中调查了应用程序的可行性，并发现它们在VR中是可用的。在实证研究的基础上，讨论了虚拟现实中再现物理键盘输入输出特性的局限性和可能性，并提出了未来的研究方向。研究问题迄今为止，键盘的物理布局通常被移植到虚拟现实（VR）中，以便在虚拟的  标准办公环境中复制打字体验。本文探讨了如何充分利用 VR 的沉浸性，改变 VR  环境下物理键盘交互的输入输出特性。作者探索了一组输入和输出映射，用于重  新配置物理键盘的虚拟模型，并通过具体设计、实施和评估 9 个与 VR 相关的应  用程序来探索最终的设计空间：表情符号、语言和特殊字符、应用程序快捷方式、  虚拟文本处理宏、窗口管理器、照片浏览器、打地鼠游戏、安全密码输入和虚拟  触控条。作者在 20 名用户参与的研究中评估了这些应用程序的可行性，发现它  们在 VR 中是可用的。在实证研究和分析的基础上，讨论了 VR 中物理键盘输入  输出特性重新映射的局限性和可能性，并指出了该领域未来的研究方向。研究方法本研究在 VR 中重新配置物理键盘的按键，并招募了 20 名用户来评估这种  做法的可行性。首先，让用户使用 9 个 VR 应用程序来评估在 VR 环境中重新配  置物理键盘的基本用户体验。其次，通过安全密码输入应用深入探讨了客观安全  感和感知安全感之间的关系以及感知安全感和文本输入性能之间的权衡。最后，  通过虚拟触控条应用分析了改变物理键盘的视觉表现形式对用户体验和性能的  影响。应用程序细节如下：语言和特殊字符：对于多语言输入或特殊字符输入的场景，可以把传统键盘映射成为相应语言或特殊字符的键盘（类似于智能手机中的多语种键盘）。应用程序快捷方式：将传统键盘中的部分按键映射成浏览器的后退、前进、刷新、主页等快捷按键。虚拟文本处理宏：将按键映射成为 Microsoft Word 中的宏命令（插入签名/发件人地址/图片）。窗口管理器：将键盘重新配置为窗口管理器，按下按键可以切换到对应的窗口。照片浏览器：在键盘的一个按键或几个按键上方显示相应的照片缩略图，按下相应按键可以浏览对应的照片。打地鼠游戏：将物理键盘重新配置为打地鼠游戏，按下地鼠相应位置的按键可以打地鼠。安全密码输入：将物理键盘原始的按键顺序打乱，实现虚拟环境中安全输入。虚拟触控条：将键盘上的一行 10 个按键虚拟为控制视频播放进度的触控条（类似于 MacBook Pro 上的 Touch Bar），通过按下相应按键控制播放进度。研究结果本文通过重新配置单个按键或整个键盘的输入输出，设计了 9 个与 VR 相关  的应用程序：表情符号、语言和特殊字符、应用程序快捷方式、虚拟文本处理宏、  窗口管理器、照片浏览器、打地鼠游戏、安全密码入口和虚拟触控条，并通过招  募 20 名参与者进行用户研究，评估了在 VR 中重新配置物理键盘的可行性，发  现这些应用程序在 VR 中是可用的。研究结果表明物理键盘可以在 VR 中以多种  灵活的方式集成，作为 VR 中多种不同任务的输入设备，并且可以基于当前任务  实时进行重新配置，在未来的 VR 应用中有着光明的前景。本文利用 VR 的沉浸性特点，通过在 VR 环境中重新配置键盘的视觉显示和  功能，评估了重新配置键盘的可行性，提出了一种在 VR 环境中集成物理键盘的  新思路。本文设计了 9 个 VR 应用，覆盖了 VR 中办公和游戏的大部分应用场景，展现了传统键盘输入在 VR 中的应用潜力。值得一提的是，本文在混合现实和增  强现实顶级会议 ISMAR 2019 上获得了最佳论文的荣誉，究其原因在于将最传统  的输入设备以一种崭新的应用形式带入了 VR 中，并通过合理的用户研究分析了  其局限性和可行性，给 VR 中的人机交互带来了更多的启发和思考。VIPBoard: Improving Screen Reader Keyboard for Visually Impaired People with Character Level Auto CorrectionVIPBoard: 通过字符级别的自动纠错为视障用户优化读屏键盘论文作者Weinan Shi, Chun Yu, Shuyi Fan, Feng Wang, Tong Wang, Xin Yi, Xiaojun Bi, Yuanchun ShiACM CHI Conference on Human Factors in Computing Systems 2019(CHI2019)论文地址https://dl.acm.org/citation.cfm?doid=3290605.3300747论文摘要现代的触摸屏键盘都有文字级别的自动纠错功能，可以处理输入错误。不幸的是，视力有障碍的用户就不能享受这种好处了，因为屏幕阅读器键盘只提供字符级的输入，而且不提供校正功能。在本文中，我们提出了一种为视障人士设计的智能键盘VIPBoard，旨在在不改变当前输入交互的情况下改进底层键盘算法。在每次点击时，VIPBoard结合触摸位置和语言模型预测每个键的概率，读取最有可能的键，节省了触点错过目标键时的校准时间。同时，键盘布局会根据用户的触点位置自动缩放，方便用户选择其他按键。一项用户研究表明，与目前的键盘技术相比，VIPBoard可以减少63.0%的触摸错误率，提高12.6%的文本输入速度。研究问题在使用软键盘进行文本输入时，视障用户会根据读屏软件读出的字符来确认  输入。因此视障用户只能逐字符地、确保正确地输入目标文本，输入效率较低且  无法使用当代先进的自动纠错功能。本文提出了 VIPBoard，一种在不改变原有  使用方式的前提下，专为视障用户设计的智能键盘。该键盘可以使用字符级别的  自动纠错算法预测出用户最有可能输入的字符，并提供该预测字符的语音反馈，  从而减少用户输入错误时所需的调整时间，提升输入效率。用户实验证明  VIPBoard 可以显著减少用户的输入错误（63.0%），提升文本输入速度（12.6%）。研究方法本研究通过用户调研（user study）的数据采集方法得到了视障用户在文本输  入时点击的位置，拟合得出反映用户行为的触摸模型。算法上使用基于贝叶斯原  理的概率计算的方法预测用户的输入，通过多轮迭代的方法设计出了最小化用户  学习成本的交互设计。最后通过用户评估实验（user evaluation）来衡量整个输入  法的性能。视障用户进行文本输入时的触摸模型如下图：

本文首次将自动纠错应用到视障人士使用的读屏软键盘算法中。由于通常地  的词级别纠错算法并不符合视障用户逐字正确输入的特征，本文创新性地使用了  字符级的自动纠错算法，提高了用户输入的准确性，从而减少了输入过程中的调  整次数，提高输入速度。本文结合视障用户的使用行为特征，设计了一套布局自适应策略。该策略首  先保证了键盘使用时的鲁棒性，即用户可以在键盘上输入任意想输入的字符，无  论预测结果是否正确。同时，策略允许用户在不改变原有读屏键盘使用习惯的前  提下使用，从而大大减小了用户的学习成本。本文的用户实验评估进行地较为完备。文中实现了中文和英文两种语言以及  VIPBoard 和传统键盘两种算法下的系统原型，并让用户分别在两种语言和两种  键盘下进行文本输入。实验结果不仅表明了 VIPBoard 相对于传统键盘的巨大优  势，也说明了文中算法的普适性和实际应用价值。研究结果本文设计了一款面向视障用户的智能键盘，通过使用字符级的自动纠错算法  减少了用户输入错误时的调整时间，提高了文本输入的效率。同时，本文精心设  计了与纠错算法相对应的布局调整策略与交互方式，使得用户可以在几乎没有学  习成本的前提下使用该键盘。该键盘将现代智能技术带到了视障人士的生活中，  为他们提供便利。本文提出了世界上首款面向视障用户的智能键盘，开创性地将字符级的自动  纠错思想引入到了视障用户的日常使用中，提高了输入效率。在用户评估中，整  个技术体现出了相比于传统显著的性能优势和用户积极的主观偏好。值得一提的是，本文在人机交互顶级会议 CHI2019 上获得了最佳论文提名的荣誉，究其原 因在于从特殊群体的特殊使用方式出发将已有的解决问题的思路迁移到该特定 的场景下，提出了一种优雅的解决方案。同时，针对用户的学习成本进行的交互 设计优化和详实的实验设计，让该工作实际应用价值体现地更为明显，从技术角 度给视障群体带来一丝光明。EarTouch: Facilitating Smartphone Use for Visually Impaired People in Mobile and Public Scenarios耳势交互：提升视力障碍用户在移动和公众场景下使用手机的体验论文作者Ruolin Wang, Chun Yu, Xing-Dong Yang, Weijie He, Yuanchun ShiACM CHI Conference on Human Factors in Computing Systems 2019(CHI 2019)论文地址https://dl.acm.org/citation.cfm?id=3300254论文摘要与智能手机交互使用触摸输入和语音输出是具有挑战性的视障人在移动和公共场景中,只有一只手可以输入(例如,虽然拿着手杖)和使用演讲的扬声器输出受到环境噪声,隐私,和社会问题。为了解决这些问题，我们提出了EarTouch，一种单手交互技术，允许用户使用耳朵在触摸屏上执行手势与智能手机交互。用户将手机放在耳边，可以私下聆听扬声器的语音输出。我们通过一系列的研究报告了这项技术是如何设计、实施和评估的。结果表明，EarTouch使用起来简单、高效、有趣，并且为社会所接受。研究问题智能触屏手机已经成为视力障碍人群同世界沟通的重要工具。视力障碍用户  使用手机时主要采用的姿势需要占用双手：一只手握持手机，用另一只手的手指  在屏幕上触摸，读屏软件能够把交互内容转化为语音读出来。在公众场景下，通  过手机扬声器听取语音反馈会受到噪音的影响，引起泄漏隐私等担忧，用户往往  需要将手机扬声器举近耳边进行交互。而在移动出行的场景下，用户一只手被盲  杖等物品占用时，完成交互需要腾出双手，转换姿态，费时费力。此前针对视障  用户单手使用移动设备的研究工作集中于盲文的阅读和输入等有限的应用场景，  而缺少一套面向手机上日常交互的无障碍解决方案。本文设计和开发了 EarTouch，  一种基于耳势的单手交互技术，能够支持视力障碍用户在移动和公众场景下以一  种相对稳定的使用姿态便捷地完成常用交互任务并轻松有效地获取语音反馈。研究方法本研究开展了有 30 位视障用户参与的用户访谈和 23 位视障用户参与的设  计工作坊，提出了一套包含八类耳势动作的交互设计；基于电容传感器数据和惯  性传感器数据识别耳势动作，并在 16 位视力障碍用户的操作数据集上实现了高准确度的评估效果；最后通过有 22 位视力障碍用户参与的用户实验对可用性进  行评估。结果表明，EarTouch 易于学习，在多数任务上执行效率更高，富有趣味  性，能够保护用户的隐私并被用户所接受，用户期待将来能够在自己的手机上使  用到这项技术。EarTouch 选用的八类耳势交互动作、功能，及视障用户对于各类  动作易于操作的评分的平均值（5 点李克特量表，5=非常同意该动作易于操作）。EarTouch 拓展了智能手机的输入能力，使得耳朵能够代替手作为触摸输入，  因而用户只需要占用一只手来握持手机。特殊地，耳朵靠近屏幕进行操作时也能  够同时用来从听筒更加隐秘地接收语音反馈。另外，使用 EarTouch 时的握持姿  态（耳朵位于听筒附近、嘴位于话筒附近）也支持用户在同一姿态下完成语音输  入。研究结果基于分析电容传感器数据和惯性传感器数据的智能算法，EarTouch 支持手  机识别耳朵在屏幕上的接触、相对移动等动作，从而支持一系列交互操作如单击、  双击、旋转等，使得视力障碍用户在公众和移动场景下能够便捷地单手完成高频、  紧急的交互任务如接打电话、发送语音消息、快捷导航等。EarTouch 支持语音反  馈从手机上方的听筒播放，无论是触摸输入、语音输入或是获取反馈，用户都可  以在一个相对稳定轻松的类似打电话的单手姿态下完成。在不便使用耳机时，从  听筒听取反馈也能解决公众场合下泄漏隐私和引起他人关注等问题。怀着基于用  户能力水平进行设计的理念，EarTouch 可以使更多用户更容易地 与智能手机进  行交互。虽然本文为视力障碍智能手机用户设计了 EarTouch，但该技术也可能使  运动障碍的用户（如单臂残疾人等）和具有情境障碍的非残疾用户（如父母用一  只手抱着婴儿时）受益。从更长远的层面上来讲，EarTouch 也为智能手机面向不  同交互能力的所有用户的包容性设计迈出了重要的一步。文章内容主要参考：《《2019中国人工智能发展报告》—清华大学中国工程院知识智能中心》