Adobe Flash和HTML5 / JavaScript网络实验中的听觉演示和同步外文翻译资料

英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

Adobe Flash和HTML5 / JavaScript网络实验中的听觉演示和同步

摘要：最近的大量研究已经检查了在基于网络的实验中呈现持续时间和响应时间测量的视觉呈现刺激的准确性，并且对于大多数种类的实验的准确性时可以接受的。然而，许多行为研究领域使用听觉刺激代替视觉刺激，或者采用另外视觉刺激。对听觉准确性了解甚少使用标准的基于Web的测试程序。我们用了毫秒精度的黑盒工具包来测量实际听觉刺激的持续时间和听觉和视觉呈现开始的同步。我们检查了听觉和视觉的100次演示的时间分布刺激，这些通过两钟差异规格的计算机、三钟常用的浏览器和用Adobe编写的代码Flash或JavaScript。我们还研究了尝试同步听觉和视觉的不同编码选项开始。总的来说，我们发现听觉持续时间非常一致，但视觉和听觉起点之间的滞后在浏览器和计算机系统上不同。

关键词：网络、互联网、音频、同步、JavaScrip

行为科学中的许多实验的目标是对于已知的，准确的时间量的参与者呈现刺激，并且准确地记录对那些刺激的响应时间（RT）。 有时，多个刺激必须与已知的，精确的偏移同步或呈现，并且多个响应，例如按键的序列需要被记录。由于许多研究现在在线进行，许多研究者检查了需要精确的显示持续时间的实验的程度 或RT是可行的使用标准的基于Web的技术，如Adobe Flash和JavaScript（对于各种方式的运行概述基于Web的RT实验，参见Reimers＆Stewart，2015）。

通常使用两种广泛的方法。 第一种方法是尝试比较人类参与者在线完成实验的结果，以及在更传统的基于实验室的设置中，通过尝试在线复制已建立的实验室效应，或通过运行同一研究的基于实验室和网络的版本。 这里，给定研究的基于实验室和基于网络的转换的结果在很大程度上是相当的（例如，Crump，McDonnell，＆Gureckis，2013; de Leeuw＆Motz，2016; Reimers＆Stewart，2007; Schubert，Murteira， ＆Lopes，2013; Simcox＆Fiez，2014），尽管在具有短的呈现持续时间和复杂的学习任务的某些条件下，基于Web的性能与实验室结果不一致（Crump等人，2013）。 关于这种方法及其优点和缺点的讨论，参见Plant（2016）和van Steenbergen和Bocanegra（2015）。

第二种广泛的方法是直接比较基于浏览器的刺激呈现和使用专家软件或硬件的RT记录的准确性（例如，Neath，Earle，Hallett和Surprenant，2011; Reimers＆Stewart，2015; Schubert等，2013 ; Simcox＆Fiez，2014）。 一般来说，视觉刺激呈现持续时间比代码中指定的长，以控制其呈现，并且显示一些量化，可能与监视器的刷新率相关联。

通过Web浏览器的听觉刺激

几乎所有现有的基于网络的RT研究使用个人视觉呈现的刺激。 这有几个可能的原因。 首先，它反映了认知心理学更侧重于视觉而不是听觉感知和处理的焦点。 （在英国，为了说明核心入门认知心理学，教科书有几个章节关于视觉处理的方面，但只有几页的听觉感知。）

第二，基于网络的实验与听觉刺激可能有更多的实际障碍。 用户看到视觉呈现的刺激的能力是给定的，因为所有计算机使用可视界面，即，用于交互的监视器。 音频传统上是更可选的：早期的电脑只能通过内部扬声器产生简单的哔哔声，只有十几年前，许多商业电脑只包括声卡作为一个可选的额外。 最近的一个问题是用户驱动：人们不总是能够听到他们的计算机上呈现的声音，缺少扬声器或耳机。 然而，越来越多地使用Web来播放视频，以及需要音频（例如skype）的应用程序可能已经使得使用音频的能力更加广泛。

第三，研究人员对运行基于Web的研究的不受控制的环境有合理的关注（更详细的概述，参见Slote＆Strand，2016）。虽然视觉刺激的出现在系统之间变化很大，色调，饱和度，对比度，其中，人们需要能够观看显示器以使用计算机的事实意味着刺激的基本性质将被参与者感知。另一方面，听觉刺激可能太安静，不能被感知;它们可能会扭曲;它们可以在嘈杂的环境中播放，使得它们的可辨别性不可能。它们还可以以单声道或双耳的方式呈现，其可以影响感知（Feuerstein，1992），单声道或立体声（其将影响双耳分音听觉任务）

第四，基于浏览器的音频的呈现通常比视觉刺激的呈现更复杂。例如，所有当前流行的PC浏览器不支持单个音频格式，并且直到HTML5标准的最近开发，用于播放音频的最佳方法（有关介绍音频的早期方法的介绍，参见Huckvale，2011）。

最后，存在对音频呈现开始时间的可变性的关注。 最值得注意的是，Babjack et al。 （2015）报告了在执行代码以呈现声音和所呈现的声音之间的延迟的实质性变化。 在他们的研究中，使用黑盒工具箱（见下文）来测量由测试系统产生的脉冲（其将被立即检测到）与被编码为同时开始的声音之间的等待时间。 结果表明，在不同的硬件和软件组合中，平均等待时间变化很大，从25毫秒到126毫秒，一次性延迟可能高达356毫秒。

现有研究

在网络研究中使用听觉刺激的实验在互联网介导的研究的最早期开始（Welch＆Krantz，1996）。 然而在接下来的20年里，似乎很少有公开的研究在网络上呈现了听觉刺激（对于概述，参见Knoll，Uther，＆Costall，2011和Slote＆Strand，2016）如此系统地。

一些现有研究使用嵌入在网页（例如，Honing，2006）或下载到用户的计算机（例如，Welch＆Krantz，1996）的长音频文件。 听觉刺激包括音乐表演的节选（Honing，2006），令人不愉快的声音如呕吐和牙医演习（Cox，2008）和演讲（Knoll等人，2011; Slote＆Strand，2016）。

在Knoll等人（2011年）的研究中，参与者听取了由英国母亲（a）对她的婴儿（b）英国的联盟和（c）外国同盟说话的低通滤波语音的30秒样本。 参与者对每个语音片段做出一系列情感评级。 实验在两个条件下进行：一个是基于实验室的传统设置; 其他使用的参与者在网络上招募和测试。结果的模式在两种情况下非常相似，两种情况下的参与者对婴儿定向语音评级比其他两种语言类型更积极，更舒适和更鼓励。

最近，Slote和Strand（2016）检查了是否可能在线测量听觉刺激的RT。在他们的实验1中，参与者被提供了听觉辅音 - 元音辅音字词，如Bfit。识别条件，参与者必须识别和键入提出的词与背景babble添加。在词汇决策条件下，参与者对同一词语和匹配的非词语（如Bdak）进行了超速的非词性判断。实验在实验室和网络上使用JavaScript运行，参与者通过Amazon Mechanical Turk进行招募。在识别任务中，在实验室条件下的性能明显好于Web条件;然而，项目水平识别精度在两种条件下的相关性非常高（r = 0.89）。 （实验室和实验室之间的相似关系基于网络的听觉识别性能已被Cooke，Barker，Garcia Lecumberri和Wasilewski，2011报道。）最有趣的是，两种条件下词汇决策时间之间的相关性也非常高（r = .86）。这在数值上高于实验室条件下的分裂半相关性，表明基于Web的方法与基于实验室的方法一样能够区分在RT中捕获的不同困难的刺激。

为了直接检查RT对听觉刺激的准确性，Slote和Strand（2016）进行了第二个实验，这次使用专业硬件来产生准确的，已知的听觉刺激的响应时间。他们使用两种不同的JavaScript方法，Date方法和Web Audio应用程序接口（API;参见下文）来呈现听觉正弦刺激和记录RT，将它们与由连接到另一台计算机的专用硬件测量的实际RT进行比较。他们发现，记录的RT在比实际的RT长的54ms（Web Audio）和60ms（Date method）之间，大概反映了滞后到呈现的组合以及按键被JavaScript检测和处理所花费的时间。至关重要的是，他们还报告了这些过高估计的标准偏差通常很小 - 介于4和6 ms之间。最后，他们发现Date方法易受处理器负载的影响，当将大量额外的并发处理负载应用于系统时，变化性增加

研究理由

这里报告的研究的目的是扩展在基于Web的研究中使用听觉刺激的现有工作。 一个目的是检查通过浏览器呈现的听觉刺激的持续时间的变异性。 给定听觉刺激的内在时间性质，我们将期望持续时间是一致的，但我们直接测试这一点。 主要目的是检查是否可以使用JavaScript或Flash同步听觉和视觉呈现。 许多领域的研究人员已经检查了跨模态感知：在一种模态中呈现的刺激对另一种形态的感知的影响。 最着名的是McGurk效应（McGurk＆MacDonald，1976），其中观察一个人在表达/ ga /同时听到/ ba /导致/ da /的感知。

虽然一些最着名的效果往往是基于复杂的动态视觉刺激，如嘴巴语言，呈现为视频剪辑，其他人基于更简单的刺激。例如，使用简单的刺激，例如同时或异步呈现的光的斑点和声音的点击来检查其中声音的位置的感知受并发视觉刺激的位置影响的气体排斥效应（例如，Alais＆Burr， 2004）。类似地，对面部的静态单色图像的情绪判断受到其中呈现不相关听觉言语的语调的影响（de Gelder和Vroomen 2000）。听觉和视觉词的同步双模呈现也用于检查语言理解过程（例如，Swinney，1979），并且抽象刺激，例如同步变化的色调和视觉符号已经用于注意研究（Miller，1986） 。对于许多（但不是全部）这些任务，必须严格控制听觉和视觉刺激发生时间的同步。例如，如果听觉发作在视觉发生之前超过30ms发生，则McGurk效应显着降低（van Wassenhove，Grant＆Poeppel，2007）。

对于这项研究，我们主要感兴趣的是，通过不同的系统浏览器组合在网络上维持听觉和视觉刺激发作异步（SOA）的控制程度。 我们对绝对SOA不太感兴趣，因为一致的SOA可以通过添加延迟到一个模态上的刺激的呈现来纠正。 然而，跨计算机硬件和软件组合的SOA中的实质性变化将是更难解决的问题。

第二个目的是间接地检查如何准确测量的听觉刺激的RT。 我们之前已经展示了JavaScript和Flash过度估计视觉RT的程度，部分原因在于要呈现刺激的指令与计算机监视器上的刺激出现之间的滞后。 如果我们试图同时呈现听觉和视觉刺激，我们可以使用测量的SOA，结合已知的高估RT的视觉刺激，以前报告，计算预期的高估RT的听觉刺激。

在这里报告的研究中，我们使用通常用于在线运行RT实验的两种编程方法：JavaScript和Adobe Flash。 JavaScript，加上HTML5和CSS3，正成为在行为科学中运行基于Web的RTstudies的标准（例如Crump等人，2013; de Leeuw＆Motz，2016; Hilbig，2015），最近几个图书馆帮助研究人员设置使用JavaScript的实验（例如，jsPsych：de Leeuw，2015; psiTurk：Gureckis等，2015;和QRTEngine：Barnhoorn，Haasnoot，Bocanegra和van Steenbergen，2015）。虽然Flash因为许多可理解的原因而变得越来越流行，但它已经并且仍然被用于行为研究（例如，Project Implicit，nd; Reimers＆Maylor，2005; Reimers＆Stewart，2007,2008,2015; Schubert et al。，2013）。其他编程语言，如Java，现在在网上行为研究中很少见到，部分是因为安全问题（尽管参见Cooke等人，2011，使用听觉刺激的例子）。 Flash和JavaScript都能够呈现听觉刺激

所有研究的基本设计是相同的：我们的目的是在屏幕上呈现1000ms的视觉刺激（白色正方形）和听觉刺激（1000Hz正弦波1），同时发生两种刺激。 我们将重复这100次，然后将通过一系列浏览器和计算机系统组合报告视觉和听觉开始之间的SOA分布以及视觉和听觉持续时间，以观察它们如何偏离期望的性能 ，并且，至关重要的是，它们在不同的系统 - 浏览器组合中有多少。

实施的设计与Reimers和Stewart（2015年）类似。 我们使用Black Box ToolKit，版本2（www.blackboxtoolkit.com;也参见Plant，Hammond＆Turner，2004），准确测量视觉和听觉刺激的开始和持续时间。 为此，我们将工具箱的光电探测器之一连接到显示器上白色方块出现的位置，并将工具包的麦克风放在一组USB耳机旁边或计算机的扬声器旁边。 该工具包记录了听觉和视觉刺激的开始和偏移，并且在每个会话开始时设置了检测阈值。

Study1

有几种编码和同步听觉和视觉刺激生成的方法。 在研究1中，我们使用最简单的，不受约束的方法，其中计算机代码基本上同时执行命令以呈现视觉和听觉刺激。 该伪代码中显示了基本方法：

1.开始一个黑色屏幕的新试验

2.在屏幕上显示白色方块

3.启动1000毫秒定时器

4.播放1000 ms正弦波

5.当1000毫秒定时器完成时，隐藏矩形

6.等待500 ms，然后重复

因此，在这里，我们简单地发送几乎并发的音频和视觉刺激的请求开始。 代码在Flash中实现（使用ActionScript 3，将嵌入的mp3示例传递到SoundChannel）和JavaScript（使用HTML5 lt;audiogt;标记和J

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[140713]，资料为PDF文档或Word文档，PDF文档可免费转换为Word