一种支持智能空间中沉浸式远程阅读的触觉反馈电子书系统的原型外文翻译资料

本科生毕业设计（论文）外文资料译文

（ 2022届）

一、外文资料译文：

一种支持智能空间中沉浸式远程阅读的触觉反馈电子书系统的原型

摘要：互动式阅读对幼儿语言的发展具有重要作用。实验研究表明，儿童可以在与成人共同阅读书籍时中学习新的词汇，而父母也可以由此展现他们对孩子的爱和关心。受此启发，我们提出一个可以让家长或祖父母远程参与阅读的远程阅读框架。在此框架下，我们将提出一种直观的基于注释的触觉-视听交互方法，使其与传统的数字学习材料相结合，形成一种新的阅读方式。这种阅读方式能够让学习者将文本与视觉、触觉经验进行联系，加速语言能力的发展。我们将在所提出的Haptic电子书系统中，通过结合家庭娱乐系统和触觉设备，去检验这种形式的增强是否会影响用户的学习行为。我们所提出的Haptic电子书(HE-Book)系统利用了触觉夹克，触觉臂带和触觉沙发接口，以驱动器振动的形式远程向故事收听者提供触觉情感信号，并结合图像增强来展现学习材料，从而在流行的电子书平台上，为亲密、共享和沉浸式的阅读体验铺平道路。

关键词：触觉书籍，注释，渲染增强，触觉渲染，共享阅读

Ⅰ.介绍

阅读可以有效帮助学龄前儿童增加词汇量。根据塞内查尔等人的报告，在控制了父母的教育、识字水平和儿童智力水平后，学龄前儿童的故事阅读量一定程度上解释了他们表达能力和词汇接受能力的差异。相关实验和干预性研究支持，成人与儿童的共同阅读给予了儿童获得新词汇的机会，阅读故事书促进了儿童语言能力的发展。一般来说，孩子们喜欢阅读故事书，特别是当祖父母或父母阅读给他们听时，这是他们对孩子爱与关心的一种表现。然而，由于地理位置或距离问题，他们并不是总有机会能与孩子或孙子共同阅读。本论文提出了一个远程阅读系统，能让读者和听者参与到一个有趣的阅读体验中，加强两者的情感纽带。

随着技术创新、设备和平台的出现，我们的阅读方式在不断更新中。例如，电子书一直在挑战纸质书的存在，在某种情况下，电子书已经在取代前者在学校的地位。在日常生活中，由于多数先进的手持移动设备都已经支持电子书阅读，我们也更多地习惯于使用电子材料，而非印刷书籍。同时用户群体广泛接受触控界面，阅读的触觉反馈也成为了一种新的研究方向。此外在绘本阅读中，学习者可以将文本与已有的视觉体验联系起来，这能有效加速语言能力发展。丰富多彩的插图为故事叙述提供了新的方向，而不再完全依赖文本。由此可见，与阅读内容相关的触觉反馈和视觉图像，能进一步地帮助学习者将景象和情感体验与所学的单词联系起来，从而进行记忆。为了充分利用这种模式，在远程阅读系统中，我们将提出一种直观的基于注释的触觉-视听交互方法，使其与传统的数字学习材料进行结合。图1描述了支持以学习材料为中心，以触觉及视觉进行内容呈现的远程阅读系统组件的完整概述。

图 1 HE-Book系统的高层架构

远程触觉电子书（HE-Book）是一种特殊类型的电子书阅读器，它能够在用户进行远程阅读时提供与内容相关的视觉图像以及振动触觉反馈。祖父母使用定制的电子书客户端远程阅读内容，孩子们可以在电视屏幕和可穿戴的触觉夹克上，分别查看和感受到与学习内容相关的视觉图像和触觉情感反馈。我们结合了在之前工作中定义的触觉刺激。此外，触觉沙发还提供内容依赖的振动触觉反馈，如船或火车的运动。

为提供这样的体验，我们提出了一个远程电子书系统的原型，探讨了触觉反馈和多媒体内容在各种电子书平台上的适用性。这篇研究文章主要贡献在两方面。首先，它在传统的数字文本内容中编写了触觉数据和多媒体数据，并提出了基于触觉的远程视听反馈方法。其次，它提出了一个支持远程阅读的通用框架，对各种远程交互机制进行了说明，并同时支持个人和远程群体阅读，支持将家庭多媒体设备纳入到阅读活动中。

论文其余内容如下。首先，第二节描述了多媒体注释方案；然后，第三节说明使系统允许远程渲染通信的两个关键组件；接着，第四节介绍系统的各种组件，这些组件促进了基于触觉-视听的数字阅读材料的可视化交互；最后在第六节我们会对论文进行总结，并阐述了可能的未来工作方向。

Ⅱ.多媒体注释方案

我们开发了一个注释工具，对电子书内容的图像和触觉反馈进行编写。注释工具如图2所示。根据注释方案步骤，作者可以选择电子书页面给定的段落，并使用各种触觉和多媒体属性进行注释。对于多媒体图像注释，作者在选择电子书文本之后，注释器将基于网络搜索结果提供一个可用的图像列表，并保存在图像容器中以便选择。随后，作者从中选择能够合适描述所选文本的图像，将其保存在注释文件中。对于触觉注释，系统目前支持三种触觉传递设备，分别是触觉夹克，触觉臂带和触觉沙发。对于每个设备，我们都会创建自定义的振动模式，并取用适当名称，添加在创作工具中。XML注释文件(图3)包含图像列表，以及针对每个作者的电子书内容所选振动设备的振动类型。

注释文件与电子书是分开的，独立XML注释文件的优点就是可以让HE-Book用户自行选择是否使用多媒体 触觉扩展。且独立XML文件存在一个可能的商业模式，即用户需要为特定电子书的XML注释文件进行消费。对于电子书的带注释段落，我们创建了一个XML元素页面，它的属性ID表示该页面的唯一编号。每个页面元素都被按段落划分, 每一段落都有标识段落号的ID。注释基本单位为段落，即振动反馈和多媒体播放开始和结束于段落，我们称之为基于场景或段落的注释。在段落下，还有触觉数据和图片元素，它们支持内部、外部音频和视频的扩展。触觉注释包含设备类型、模式、重复和延迟属性，图像注释包含Src、Url属性。根据过去工作的成果，HE-Book系统的电子书内容注释中包含触摸、玩笑、拥抱、挠痒、亲吻和戳刺类型的触觉反馈行为。注释检索器负责搜索所需的注释文件，并检索所请求的XML块。简而言之，这是一个XML解析器。对于{Page, Para}对的请求，XML解析器将从XML文件返回相应的Haptic, Image块。

图 2 用于编写触觉-视听材料的注释编辑器

Ⅲ.远程电子书阅读器系统

本节描述了阅读者服务器和收听者服务器的功能，以及他们将如何处理电子书交互，并向智能设备提供触觉视听反馈。系统分为阅读者模块和收听者模块两个组成部分。在一个典型的阅读过程中，阅读者模块会向阅读者提供文本内容并控制节奏，而收听者模块则通过音频、视觉和触觉三种渠道呈现阅读内容。当计算机语音大声朗读书籍内容时，收听者可以在电视上看见相关图片，并通过所连接的触觉设备接收触觉反馈。

A.阅读者交互控制器

位于阅读者服务器中的交互控制器模块，在触觉电子书阅读系统中起到组织和同步工作流的核心作用。在特定时间间隔后，该模块会通过轮询获取用户的触摸输入。一旦执行了触摸交互，交互控制器就会就会根据电子书文档的段落标识来调整屏幕位置。注释管理模块获取页面编号和段落键来检索与段落关联的触觉和视觉数据，并将XML数据返回给交互控制器。这些XML内容将与页面编号和段落键一起被发送到收听者模块。

图 3 基于XML的电子书文档注释文件

B. 收听者环境媒体服务

在数据结构列表中，收听者模块进行定位所需求的触觉-视听数据将被发送到多媒体渲染管理器，多媒体管理模块产生信号进行触觉、音频、视觉渲染，接着收听用户就可以获取这些与学习内容所关联的触觉、听觉和视觉反馈。收听者模块还会轮询周围的活动设备，如果发现了任何媒体设备，就会与设备进行初步的消息通信，以保持媒体同步，并检查设备状态，以确认设备类型为独立设备或中间设备。独立设备能够自主完成媒体流，而中间设备则在团体娱乐中扮演中介控制器的角色。除了上述任务外，收听者模块还会使用载波感知算法来确定其他模块的活动/空闲状态，确保系统模块不会阻塞或限制其他模块的操作。

Ⅳ. 多媒体传输方案

在移动设备客户端中，多媒体管理模块处理触觉-音频-视觉渲染。渲染方案描述如下。

A. 触觉渲染

根据基于触控GUI的页面和段落信息，交互控制器从注释回收子模块获得触觉数据，并为目标触觉设备生成所描述的触觉信号。触觉信号发生器在使设备产生特定的触觉信号中起着重要的作用，由于目标触觉设备可能不同，我们需要拟定一套特定的配置。于是我们考虑利用蓝牙在系统架构中系统与触觉设备之间进行通信，并使其能够扩展到设备支持的其他个人网络通信。在原型系统中，我们使用了蓝牙触感夹克、D-Box触感沙发和蓝牙触感臂环。

根据过去工作的成果，我们挑选了原型系统的触觉设备可实现的三种基本情感(爱、喜悦、恐惧)，它们将被半自动地标记到电子书内容上。我们还诠释了一些现实生活中的场景，如骑自行车、驾驶汽车、飞机、乘船旅行、海上风暴、潮汐效应、握手、挠痒、拥抱、戳刺、触摸。以下我们将按照日常经验对这些触觉反馈进行定义。

• 触摸：为了模拟触觉交互，我们利用了制动器振动来产生错觉。人体皮肤上的一组制动器通过振动模式来产生触觉。
• 戳刺：戳刺的振动模式与触摸类似，但在这种触觉模拟中，电机参数会降低，振动强度更高。
• 挠痒：使用触觉夹克，我们在腹部、腋窝和颈部周围放置了制动器马达，并设定了一套模式来产生挠痒触觉反馈。
• 牵手：使用触觉臂环，我们已经实现了握手触觉反馈。这种类型的触觉渲染中，触觉主要集中在臂带区域。
• 海上风暴，乘船/飞机/汽车旅行，骑自行车：使用触觉沙发对这种类型的触觉反馈进行模拟。海上风暴是一种特殊类型的乘船触觉反馈，为了模拟乘船时的触感，D-Box接口需要根据生成信号波来调节驱动器。汽车旅行则修改了乘船触觉反馈，并通过频繁的振动进行增强。骑自行车的模拟体验中，触觉沙发减少了振动，但增强了力度。
• 恐惧、喜悦、爱：利用触摸和戳刺反馈，以模拟这些情感反馈。在渲染恐惧时，我们周期性地让制动器沿着脊柱产生振动。喜悦效果是在胃部周围产生一系列轻微的戳刺和温和的触摸。而爱的效果则是增强左胸部周围的触感。马达需事先设置不同的强度，放置在这些区域。

在经验性地定义了触感之后，我们需要注释中添加相应内容。视觉图像内容、触感类型、频率和渲染类型，都在XML注释文件中进行定义。收听者模块需要在智能家居环境中可用的触觉设备上，动态地渲染这些触觉振动。

B.图像渲染子系统

在本节，我们将更详细地描述从文本到语音的交互模式、二维图像的渲染方法和对家庭娱乐系统的多媒体传输方案。电视屏幕上的图像浏览器集成了视觉反馈增强，这样学习者就可以“看到”与学习内容相关的图像。这些图像是在书的每一个段落的注释步骤中被静态定义的，即在半自动化过程搜索图像数据库，并使得到的图像在读取过程中可用。比如，用户可以在阅读暴风雪描述的同时看到相关图片，帮助用户提高阅读和理解能力，使他们的学习过程更加高效。此外，学习材料的视觉增强显示，还能使学习过程更具互动性和娱乐性。

家庭多媒体系统适用于多人收听场景。当用户使用电子书客户端与带注释的电子书内容交互时，远程听众可以利用周围的智能设备，如触觉沙发、触觉夹克、触声臂带、立体声系统和高清电视等，享受与内容相关的信息。例如，一位正在偏远地点旅行的父亲使用电子书客户端朗读威尼斯的旅行，而他的妻子和小孩是听众。妈妈和孩子都穿着触觉夹克，坐在触觉沙发上，面前是一台高清三星液晶46英寸1080p电视。在阅读书籍时，远程用户触碰注释部分，收听者模块将按顺序处理图像列表，并将其显示在电视上。与此同时，听众的可穿戴触觉设备和附近的触觉设备开始执行发送给它的命令。在我们的原型系统中，触觉信号和流是由一个中间计算机处理的，它通过一个个人通信

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[596421]，资料为PDF文档或Word文档，PDF文档可免费转换为Word