适用于移动设备的多模式用户界面的实验外文翻译资料

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

适用于移动设备的多模式用户界面的实验

安德烈亚斯·图尔 诺伯特·库恩

维尔瓦尔特应用科学大学经济学软件系统研究所，比肯费尔德 D-55761

摘要：我们的日常生活环境包含越来越多的技术系统，需要人为控制。 现代移动设备提供了用作这些技术系统的通用控制设备的功能。 除了传统的用户交互，它们还提供组件来处理语音和触摸输入等人机交互的新方式。 在本文中，我们描述了一个支持基于Android的移动设备的多模式输入的软件框架。 我们在案例研究中利用此框架为两种不同的机器人控制实例开发适应性多模式用户界面。 此外，我们提供了一些评估这些接口与一些测试人员的结果。

关键词：Android平台;多模式用户界面; 设计模式;机器人控制;可用性;嵌入式系统

1 介绍

自从2007年推出iPhone手机以来，几乎所有的移动平台都为人机交互提供了新的可能性。电容式触摸显示器，廉价的移动宽带连接和强大的移动硬件的大众市场可用性是这些新互动的基本要求。当今的移动设备高度集成，这些新的交互方法不需要额外的硬件。相反，人体（手指，语音）是触发系统动作的“硬件”。评估表明，多模式界面可以将任务执行速度提高10％。1.这种与随时可用设备的更快互动改变了人们消费和控制信息的方式。

近年来的另一项技术发展是在我们的环境中连接日常使用的设备。现代嵌入式系统利用交互元素丰富了我们的环境，并创建了需要控制和可视化兼容性的无处不在的基础架构2。现代智能手机提供了一种通用的方式来控制和可视化嵌入式系统，因为控制元素在软件中定义并通过触摸屏显示器可视化。

不幸的是，没有描述多模态交互与移动应用程序集成的通用模型。 每种交互模式在执行时间，准确性，线程和配置方面都有特殊的限制。 我们通过使用多个抽象层来解决框架体系结构中的这些问题，这些抽象层管理对输入源特定的参数。 此外，我们使用命令模式4为多模态交互提供了一个易于使用的框架。

2 技术与建筑

今天，几乎所有的移动平台都支持触摸，语音和手势识别来控制移动设备。这些平台的本地软件开发工具包提供了使用硬件和服务来处理用户输入的组件。在本文中，我们描述了一个框架来简化用户输入的使用，特别是多模式交互。该框架提供了一种基于XML的方言来配置输入识别器并定义一个标准来对已识别的事件作出反应。图1给出了该框架的概述。它支持动态添加和删除可用的输入源。此外，它提供了配置识别过程的功能，并提供了对用户输入事件作出反应的定义方式。目前，输入源可以是经典的GUI元素，以及触摸输入，语音和传感器状态（陀螺仪）。由于设计遵循命令模式，未来的交互模式，例如手绘手势可以无缝地包含并配置为新的输入源。抽象事件和具体事件之间的动态绑定然后由框架自动提供。

图1.不同输入源的事件处理概述

该框架是为Android平台实施的。 我们决定使用Android框架因为：

• 为设备制造商提供了良好的支持，
• 可以轻松适用于Java桌面应用程序，
• 提供了免费的开发环境和仿真器，
• 包含用于语音和手势识别的开源组件

2.1 Android中的语音识别

Android语音识别是Google托管的网络服务。设备上的语音引擎将用户的语音输入数字化，并通过互联网连接将其发送到云端。在云端，单词与谷歌算法多年来收集的统计模型进行比较。语音识别的服务器端处理具有以下优点：智能手机的CPU /电池没有被使用，并且由于大量的可用统计数据，识别结果更好。另外，新的识别算法可直接用于所有用户。据谷歌称，所有移动搜索查询中有25％是通过语音识别1获得的。该识别可以在没有用户特定的培训的情况下获得，但正确的识别结果会因为个性化的用户语音模型随着时间的推移而创建和改进而增加。缺点是服务需要永久性的互联网连接。由于服务的高带宽消耗，长时间的语音请求常常导致错误异常。

2.2 Android中的手势识别

与语音识别相比，手势识别可以在没有互联网连接的情况下使用。 Android框架提供了三种方法来对用户手势事件做出反应。 它们在可识别手势的复杂度上有所不同。 0呈现三种手势类型并列出其参数。

表1. Android框架中的手势类型及其参数

我们使用GestureOverlayView来识别框架中的手势输入。这种手势类型的主要优点是可以定义自己的手势并使用预测分数来对用户手势输入进行评分。该框架简化了手势库的加载和具体事件的调用。它遵循属于行为设计模式类别的命令模式4.通过这种设计模式，可以实现请求操作的客户端和执行操作的接收器之间的某种解耦。命令对象充当客户端和接收者之间的接口，从而表示调用。通过使用命令对象，该框架获得了灵活性，因为该对象可以被存储以供以后处理，并且以前的执行可以颠倒过来。此外，新的接收器，

例如：输入源可以在不改变应用程序的情况下（接收器和客户端之间的松散耦合）添加调用和客户端（处理调用）的输入源。

3 案例研究：控制具有多模态相互作用的头脑风暴机器人

为了评估交互框架的可用性，我们使用它构建了一个应用程序，通过蓝牙数据连接来控制Lego Mindstorms机器人。 我们选择了一个机器人应用程序，因为它是需要实时控制的技术嵌入式系统的一个很好的例子。 此外，机器人运动为用户提供了对实际交互的直接反馈。 此外，这种设置提供了一个有趣的设置来测试和评估人机交互的新形式。 图2显示了Android平台上的界面截图。

图2. Mindstorms应用程序的遥控屏幕截图

在显示屏的顶部，用户可以选择不同的输入模式（遥控，语音，手势和陀螺仪）。根据所选的输入源，窗口的底部显示有关输入模态的信息。在遥控器输入源中提供了一个带有经典GUI元素的屏幕。连接到这个接口的Mindstorm机器人提供了几个具体的活动（开车回家，停车或者旋转），这些活动可以用不同的输入形式激活。例如，可以通过按下适当的按钮来激活“旋转”活动

通过手势说出单词“旋转（左）”，甚至通过使用按钮来控制机器人的低级别动作动作。在下面我们讨论的可用性研究中，我们评估了不同的输入模式以及用户对它们的评分。

可用性研究是根据Jakob Nielsen介绍的“折扣可用性工程方法”设计的[5]。该方法基于使用以下四种技术，即用户和任务观察，场景，简化思维大声和启发式评估。

为了评估框架的可用性和可用的输入模式，我们基于这四种技术开发了定性用户调查。每个用户采访按照以下模式执行：

情景构成用户介绍使用应用程序免费测试应用程序和输入模式（10分钟）情景任务执行（观察）引导式访谈（大声思考）

指导面试包括关于用户的问题，关于应用程序的功能（易用性）以及使用应用程序时的个人感受（使用的乐趣）。 在场景任务执行期间，输入模态之间的不同时间测量给出了机器人控制模式（远程，语音，手势和陀螺仪）之间的比较值。

图3. “Riding Home Scenario”

图3显示了我们用于评估的场景示例。 在这里，用户必须将机器人从一个给定的位置导航到它的家中，在那里他必须沿着黑线将它停放在背面。 不同的场景应该涵盖由机器人的一般和复杂动作组成的各种激活。此外，我们为我们的研究构建了两种不同的机器人，一种可主要驱动，另一种可用于装载，运输和卸载货物。 这使我们能够建立多种场景。 在下一节中，我们将对启发式评估进行简要总结。

4 可用性研究结果

可用性研究的启发式评估是使用描述性统计进行的。 它遵循指导面试中问题的出现。

4.1一般信息

在面试的第一部分中，收集了关于测试人员的一般信息。 总共有十位用户参与了可用性研究。 30％的参与者是女性。 年龄最小的测试者是9岁，最老的测试者是58岁。 其他测试人员年龄在25岁至35岁之间，平均年龄约为29岁。

然后，我们向用户询问他们使用现代智能手机的经验。 大多数拥有智能手机的测试人员将其现代触摸式智能手机的体验评估为“非常好”（3）或“良好”（2）。 其中四名没有智能手机的测试人员估计他们的体验“低”，另一个人评价他的体验“非常好”。 一个有趣的事实是拥有智能手机的测试人员认为控制技术系统的想法“非常好”。 他们想用手机来控制他们周围的几乎所有嵌入式系统。 60％的非智能手机用户认为控制嵌入式设备的想法是“好的”。 所以我们观察到智能手机的拥有者倾向于用移动设备来控制嵌入式系统。

4.2有关申请的问题

在第二部分中，用户应评估控制机器人的整个Android应用程序。 应用程序的功能（易用性）主要评为“良好”。 大多数测试人员想要更多的机器人移动和更好的手势识别。 因此，新版本的应用程序提供了更好的分离的新手势。 除了易用性外，测试人员还评估了使用的乐趣。 大多数用户发现使用该应用程序以及使用多种输入模式来控制机器人是非常了不起的。 表2中的以下描述性统计数据详细显示了答案。

表2.测试人员的易用性和使用乐趣

4.3关于输入模式的问题

下一节讨论不同的输入模式。在这部分采访中，测试人员必须评估机器人对不同输入模式的反应速度以及模式控制能力的准确程度。图4显示用户将遥控器的反应时间与传统GUI元素评为最佳。语音模式的反应时间被评定为最慢的交互形式。正如预期的那样，由于Web服务调用过程，语音的识别需要更多的执行时间。对于可用性领域获得类似的图片（参见图5）。

为了比较不同的输入模式，我们通过交互模式合并了反应，准确性和可用性的给定用户评分。因此，用户对基于按键的交互模式进行了评分，最佳值为1.3，陀螺仪的评分值为1.49。虽然语音（3.43）和手势输入（2.66）的合并值不太好，但收视率表现出很高的方差。一些测试人员喜欢语音和手势输入模式，并给他们一个很好的评价。为了提供良好的可用性，应用程序应该至少支持基于按钮或传感器状态的“经典”交互模式之一。语音和手势交互应作为激活常用功能的附加方式给出。

图4.不同输入模态的反应时间 图5.不同输入模式的可用性

4.4性能测试

在本节中，测试人员执行这些场景。 与以前的问题相比，这些时间测量为输入模式的性能提供了客观的价值。 场景任务由两部分组成。 首先，应该使用语音，手势和任意输入模式执行驾驶室和停车命令。 在第二项任务中，测试人员必须沿着四个给定的地标开车。 图6和图。 图7显示了各自的时间测量。 一个有趣的事实是，语音输入模式比手势模式更快地激活任务1中的命令。 因此，语音输入模式的客观可用性和用户对这种交互的感受存在差异。 当用户可以自由选择交互模式时，他们倾向于使用按钮或陀螺仪输入模式。

图6.任务1，不同输入模式的所有测试人员的平均时间 图7.任务2的单个测试人员的平均时间

5 结论和未来工作

在本文中，我们讨论了一个为Android平台提供多模式交互的软件框架。给出了用这些多模态相互作用实现的可用性研究的结果。可用性研究表明，即使有实时要求，多模式交互也适用于控制系统。但是，个人用户之间存在差异。一些人对新的移动设备有很好的使用经验，并熟悉基于语音和手势的交互。他们使用新的交互模式作为控制某些功能的附加方式。缺乏经验的用户在激活和控制多模式交互时会遇到问题。在这里，未来版本的交互框架应该包含一个用户特定的配置文件，以允许框架的单独配置。通过此用户特定的配置文件，交互模式的动态绑定可以取决于用户。在这种情况下，例如视觉受损的用户可以更好地使用移动应用程序，因为基于触摸的输入模式被阻止，并且基于语音和传感器的输入负责更多的任务。此外，用户特定的语音语法和手势可能受框架限制，以提供更好的可用性体验。除了更好的用户模型之外，还应详细描述技术系统以提供优化控制。例如，有关使用的技术系统和可能的交互的信息

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[22281]，资料为PDF文档或Word文档，PDF文档可免费转换为Word