多模态数据在行为研究中的力量
2023-04-21 来源:本站 点击次数:912
近年来，行为研究的一个主要趋势是采用多模式测量。在过去，观察甚至计算机辅助视频观察可能足以回答研究问题，而今天的科学家需要获得更深入的见解。多模式数据可以帮助解决这个问题。
案例研究显示多模式数据收集的力量
观察可以告诉你某人在做什么，但生理研究对心理状态的洞察可以告诉你他们为什么这样做。例如，眼动追踪可以揭示被试者自己甚至没有意识到的兴趣模式，脑电图可以深入了解详细的大脑过程。
研究人员比过去更多地使用多模式方法的一个原因是像 The Observer XT 或新发布的一体化平台 NoldusHub 等现代解决方案可以更轻松地集成和同步不同的数据流并利用多模态研究。
这里有五个不同的研究示例，如果不结合不同的数据模式，这些研究是不可能的。
1. 发展心理学——通过视频观察以及 PPG 和温度传感器来调查社交焦虑。
社交焦虑是我们都经历过的事情。公开演讲、工作面试和约会等所有情况都会让我们感到焦虑并害怕别人会怎么看我们，有时还会伴随着脸红，感觉很热。每个人都知道这一点，但直到阿姆斯特丹大学的心理学家最近进行的一项研究 [1] 才知道脸红在极端情况下扮演什么角色。
社交焦虑症（SAD）这种障碍的特点是对他人的负面评价产生极端和持续的恐惧。它严重干扰社交场合，并可能产生各种负面的连锁反应。众所周知，脸红是社交焦虑症的一种症状，但脸红在其发展中起什么作用呢？
研究人员要求不同年龄的幼儿在他们面前唱一首歌。他们使用 The Observer XT 的音频视频记录进行系统观察，并结合使用三种技术测量脸红。使用光电体积描记法 (PPG) 测量血容量和血脉振幅。
这与运动手表中用于测量心率的技术相同，光线照射到皮肤上，然后处理反射信号（见图1）。 使用铂电极测量面颊温度。PPG 和温度传感器都固定在孩子的一侧脸颊上。
很明显，对于这样的研究，视频观察和使用传感器测量特定变量（在本例中为脸红）的组合具有相当大的附加值。如果仅仅通过观察来估计脸红，那么它的准确度就会大大降低，而且数据也会丢失。单凭观察无法量化脸红的程度；它只会显示它的存在或不存在。这将大大限制分析的可能性。
脸红和社交焦虑症之间的确切关系是复杂的。然而，很明显，儿童早期的自我意识情绪反应（表现为脸红）的发展可能对儿童晚期社交焦虑症的发展产生重要影响。三种不同的脸红测量方法表明了不同的方面。温度显示出与社交焦虑发展的最明显关系——可能是因为孩子们能感觉到他们的脸颊变热，并对这种情况变得难为情。
2. 神经科学——啮齿类动物的脑电波
脑电图是一种将电极放置在颅骨表面的技术，它能够获取大脑中神经元的电活动。活动以波形的形式上下波动，波的振荡速度与受试者的行为相关。
如果它是每秒 8-12 次（8-12 赫兹），那么这与放松行为有关。 这是第一个被发现的关联，因此它们被称为alpha波。Beta 波（16-31 Hz）表示活跃的思维（警觉性）和运动行为，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽马波（如下图所示）频率非常高，为 30-100 赫兹，由神经元群共同作用以实现某些认知和运动功能引起。
脑电图通常与特定位置相关联，例如 alpha 波是在头部的后部（后部）区域测量的。 还可以更详细地查看 EEG 波形，例如睡眠阶段之一称为 REM 睡眠——快速眼动。 眼睛的运动会导致来自大脑同样特定区域的非常特定的波形形状。 通过查看这些波形，不仅可以判断 REM 睡眠是否正在进行，还可以判断在特定时刻哪只眼睛正在朝哪个方向移动 [2]。
脑电图还可用于帮助了解大脑疾病（如阿尔茨海默氏症和抑郁症）中发生的情况。
人类和其他动物（包括大鼠和小鼠）的脑电图有很多相似之处。通常也存在峰值潜伏期等细微差异，但总体模式（例如，对各种药物的反应）非常相似 [3]。这意味着它经常用于药物发现。
智利的一组研究人员研究了大鼠脑电图中的伽马波 [4]。他们在称为伏隔核的大脑区域中观察了这些。该区域是大脑奖励系统的一部分，与愉悦体验有关。多巴胺是该区域的重要神经化学物质。在那项研究中，科学家们将伏隔核的脑电图测量与使用 EthoVision XT 进行的行为测量相结合。
两只老鼠被允许在一个对两只动物都是中性领土的开放区域相互交流。 当老鼠彼此互动时，有更多的伽马波，表明奖励和快乐，而不是仅仅给它们一个新的互动对象。这只能通过将 EthoVision XT 的行为数据与 EEG 数据相结合来衡量。在下面的插图中，右下角的图表显示了当老鼠彼此相互作用时，伽马波明显更强大。
他们还研究了当两只相互作用的大鼠中的一只受到压力时，相互作用如何进行。压力是由被引入另一只老鼠的领地引起的。这导致紧张的对抗。野外的老鼠在日常生活中经常会遇到这种压力。数据显示，压力大的老鼠不再能够从中性领土上的互动中获得尽可能多的乐趣，它的重要性在于，它首次展示了一些关于它在老鼠大脑中究竟如何运作的细节。
3. 教育心理学——在使用多种数据模式学习的同时研究参与度。
蒙特利尔魁北克大学的 NeuroLab 旨在使用多模式技术研究教育和学习的各个方面。他们使用一整套技术来研究正在处理在线学习问题的测试对象 [5]。
记录与软件的交互（鼠标点击和移动），眼动仪记录注视和瞳孔直径，使用 FaceReader 和皮肤电导率（EDA，也称为皮肤电导率）测量情感参与度。这是基于你在兴奋或紧张时出汗的原理。 此外还使用脑电图。如上所述，β 波表示认知警觉性。这与来自 alpha 和 theta 波段的信息相结合，给出了一个参与指数。所有这些数据流都使用 Noldus 的特殊设置组合在一起，如本次采访中所述：
视频
同步在这样的设置中尤为重要，否则无法对数据进行有意义的分析。
4. 行为生态学——研究被困獾的压力
研究野外动物的行为具有特殊的挑战，使用多种类型的数据也可以提供帮助。在实验室外工作时，设备出现故障和数据丢失的情况更为常见，因此拥有多种类型的数据可以作为一种补偿方式，并且仍然能够获得可发布的结果，即使并非所有数据都符合要求计划。这就是一组瑞典科学家在他们的研究 [6] 中发现的，即被困在獾身上的压力有多大。
即使陷阱的设计不会造成物理伤害，但由于獾对情况的感知方式，它仍然会给獾带来压力。 测量压力水平的黄金标准是测量皮质醇。皮质醇是身体直接响应压力产生的一种激素。
研究人员为獾准备了含有难消化的彩色小颗粒的食物。每只獾都有不同颜色的颗粒，所以当研究人员收集它们的粪便时，他们可以测量皮质醇并知道它来自哪只獾。但是，正如在实地考察中常见的那样，事情并没有按计划进行，他们收集的很多样本中没有任何颜色标记，因此无法使用。
使用 The Observer XT 进行实时和视频记录的观察
然而，幸运的是，他们植入了传感器，使他们能够测量心率和体温，这也是压力的指示。此外，他们还使用 The Observer 对獾的所有行为进行了详细的实时和视频记录观察。这绝非易事，因为獾是夜行动物，需要许多个夜晚的艰苦工作。
结果并不令人惊讶，被困住对动物们来说确实压力很大。他们一直在陷阱中，他们一直在努力逃脱。之后压力影响继续存在，当他们回到家时，他们的社交互动和梳理和抓挠等“舒适行为”都更少了。三天后，他们的社交礼仪仍然较少。他们被困的时间越长，压力就越大。 此外，如果他们在夜间（他们的活跃期）被困，那比他们在白天被困的压力更大。
这项研究特别出色地表明，行为观察、生理测量和荷尔蒙观察的结合都有助于对实验的全面理解，并提供了仅靠观察就可以做到的更深刻的见解。
5. 用户体验和健康研究——使用多模式数据研究技术如何帮助痴呆症患者
加拿大的两个实验室合作开发了研究混合现实 (MR) 技术（虚拟现实和增强现实）使用的方法 [7]。 这些实验室是位于加拿大多伦多的社会和技术系统 (SaTS) 实验室以及痴呆症老化技术和参与实验室 (DATE)。他们研究的特定应用是这些技术如何支持痴呆症患者。通常在开发技术时，可以让用户填写问卷，反馈技术是否满足他们的需求。然而，痴呆症患者并不总是能够做到这一点，因此需要使用观察方法。
观察的基础是 The Observer XT，他们还使用眼动追踪眼镜测量注视和瞳孔数据，使用 FaceReader 测量面部表情，还测量大脑神经过程的脑电图。此外，还创建了一个任务评估工具，以量化参与者在使用和不使用 MR 工具的情况下能够在多大程度上执行任务。 最后，使用 The Observer XT 将所有数据汇集、同步和集成。
研究 [7] 的结论是 MR 设备确实有用，而且由 The Observer XT 提供支持的多模式设置是研究参与者与技术交互的有用方法。如果要以满足这些人需求的方式开发技术，那么让技术的最终用户参与开发新技术至关重要。对使用这些技术的人进行良好的研究是确定这一点的最佳方法。
结论
来自许多不同模式的数据的使用正在真正成为主流，与单一模式相比的优势在于它揭示了更深刻的见解，而且如果一种模式失败，数据中可能有足够的冗余，仍然可以发表好的文章。 几年前，处理多模式数据非常复杂，尤其是涉及到集成和同步时。 The Observer XT和NoldusHub 等现代技术使它变得越来越容易和实用。
参考文献
[1] Milica Nikolić, Mirjana Majdandžić, Cristina Colonnesi, Wieke de Vente, Eline Möller, and Susan Bögels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348. doi:10.1111/jcpp.13221.
[2] https://www.learningeeg.com/normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64. doi: 10.1159/000442210. Epub 2016 Feb 23. PMID: 26901596.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151. doi: 10.3389/fnbeh.2019.00151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627. doi:10.3791/52627.
[6] Schütz, K. E., Ågren, E., Amundin, M., Röken, B., Palme, R., & Mörner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts
案例研究显示多模式数据收集的力量
观察可以告诉你某人在做什么，但生理研究对心理状态的洞察可以告诉你他们为什么这样做。例如，眼动追踪可以揭示被试者自己甚至没有意识到的兴趣模式，脑电图可以深入了解详细的大脑过程。
研究人员比过去更多地使用多模式方法的一个原因是像 The Observer XT 或新发布的一体化平台 NoldusHub 等现代解决方案可以更轻松地集成和同步不同的数据流并利用多模态研究。
这里有五个不同的研究示例，如果不结合不同的数据模式，这些研究是不可能的。
1. 发展心理学——通过视频观察以及 PPG 和温度传感器来调查社交焦虑。
社交焦虑是我们都经历过的事情。公开演讲、工作面试和约会等所有情况都会让我们感到焦虑并害怕别人会怎么看我们，有时还会伴随着脸红，感觉很热。每个人都知道这一点，但直到阿姆斯特丹大学的心理学家最近进行的一项研究 [1] 才知道脸红在极端情况下扮演什么角色。
社交焦虑症（SAD）这种障碍的特点是对他人的负面评价产生极端和持续的恐惧。它严重干扰社交场合，并可能产生各种负面的连锁反应。众所周知，脸红是社交焦虑症的一种症状，但脸红在其发展中起什么作用呢？
研究人员要求不同年龄的幼儿在他们面前唱一首歌。他们使用 The Observer XT 的音频视频记录进行系统观察，并结合使用三种技术测量脸红。使用光电体积描记法 (PPG) 测量血容量和血脉振幅。
这与运动手表中用于测量心率的技术相同，光线照射到皮肤上，然后处理反射信号（见图1）。 使用铂电极测量面颊温度。PPG 和温度传感器都固定在孩子的一侧脸颊上。
图1
很明显，对于这样的研究，视频观察和使用传感器测量特定变量（在本例中为脸红）的组合具有相当大的附加值。如果仅仅通过观察来估计脸红，那么它的准确度就会大大降低，而且数据也会丢失。单凭观察无法量化脸红的程度；它只会显示它的存在或不存在。这将大大限制分析的可能性。
脸红和社交焦虑症之间的确切关系是复杂的。然而，很明显，儿童早期的自我意识情绪反应（表现为脸红）的发展可能对儿童晚期社交焦虑症的发展产生重要影响。三种不同的脸红测量方法表明了不同的方面。温度显示出与社交焦虑发展的最明显关系——可能是因为孩子们能感觉到他们的脸颊变热，并对这种情况变得难为情。
2. 神经科学——啮齿类动物的脑电波
脑电图是一种将电极放置在颅骨表面的技术，它能够获取大脑中神经元的电活动。活动以波形的形式上下波动，波的振荡速度与受试者的行为相关。
如果它是每秒 8-12 次（8-12 赫兹），那么这与放松行为有关。 这是第一个被发现的关联，因此它们被称为alpha波。Beta 波（16-31 Hz）表示活跃的思维（警觉性）和运动行为，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽马波（如下图所示）频率非常高，为 30-100 赫兹，由神经元群共同作用以实现某些认知和运动功能引起。
脑电图通常与特定位置相关联，例如 alpha 波是在头部的后部（后部）区域测量的。 还可以更详细地查看 EEG 波形，例如睡眠阶段之一称为 REM 睡眠——快速眼动。 眼睛的运动会导致来自大脑同样特定区域的非常特定的波形形状。 通过查看这些波形，不仅可以判断 REM 睡眠是否正在进行，还可以判断在特定时刻哪只眼睛正在朝哪个方向移动 [2]。
人类和其他动物（包括大鼠和小鼠）的脑电图有很多相似之处。通常也存在峰值潜伏期等细微差异，但总体模式（例如，对各种药物的反应）非常相似 [3]。这意味着它经常用于药物发现。
智利的一组研究人员研究了大鼠脑电图中的伽马波 [4]。他们在称为伏隔核的大脑区域中观察了这些。该区域是大脑奖励系统的一部分，与愉悦体验有关。多巴胺是该区域的重要神经化学物质。在那项研究中，科学家们将伏隔核的脑电图测量与使用 EthoVision XT 进行的行为测量相结合。
两只老鼠被允许在一个对两只动物都是中性领土的开放区域相互交流。 当老鼠彼此互动时，有更多的伽马波，表明奖励和快乐，而不是仅仅给它们一个新的互动对象。这只能通过将 EthoVision XT 的行为数据与 EEG 数据相结合来衡量。在下面的插图中，右下角的图表显示了当老鼠彼此相互作用时，伽马波明显更强大。
他们还研究了当两只相互作用的大鼠中的一只受到压力时，相互作用如何进行。压力是由被引入另一只老鼠的领地引起的。这导致紧张的对抗。野外的老鼠在日常生活中经常会遇到这种压力。数据显示，压力大的老鼠不再能够从中性领土上的互动中获得尽可能多的乐趣，它的重要性在于，它首次展示了一些关于它在老鼠大脑中究竟如何运作的细节。
3. 教育心理学——在使用多种数据模式学习的同时研究参与度。
蒙特利尔魁北克大学的 NeuroLab 旨在使用多模式技术研究教育和学习的各个方面。他们使用一整套技术来研究正在处理在线学习问题的测试对象 [5]。
记录与软件的交互（鼠标点击和移动），眼动仪记录注视和瞳孔直径，使用 FaceReader 和皮肤电导率（EDA，也称为皮肤电导率）测量情感参与度。这是基于你在兴奋或紧张时出汗的原理。 此外还使用脑电图。如上所述，β 波表示认知警觉性。这与来自 alpha 和 theta 波段的信息相结合，给出了一个参与指数。所有这些数据流都使用 Noldus 的特殊设置组合在一起，如本次采访中所述：
视频
同步在这样的设置中尤为重要，否则无法对数据进行有意义的分析。
4. 行为生态学——研究被困獾的压力
研究野外动物的行为具有特殊的挑战，使用多种类型的数据也可以提供帮助。在实验室外工作时，设备出现故障和数据丢失的情况更为常见，因此拥有多种类型的数据可以作为一种补偿方式，并且仍然能够获得可发布的结果，即使并非所有数据都符合要求计划。这就是一组瑞典科学家在他们的研究 [6] 中发现的，即被困在獾身上的压力有多大。
即使陷阱的设计不会造成物理伤害，但由于獾对情况的感知方式，它仍然会给獾带来压力。 测量压力水平的黄金标准是测量皮质醇。皮质醇是身体直接响应压力产生的一种激素。
研究人员为獾准备了含有难消化的彩色小颗粒的食物。每只獾都有不同颜色的颗粒，所以当研究人员收集它们的粪便时，他们可以测量皮质醇并知道它来自哪只獾。但是，正如在实地考察中常见的那样，事情并没有按计划进行，他们收集的很多样本中没有任何颜色标记，因此无法使用。
使用 The Observer XT 进行实时和视频记录的观察
然而，幸运的是，他们植入了传感器，使他们能够测量心率和体温，这也是压力的指示。此外，他们还使用 The Observer 对獾的所有行为进行了详细的实时和视频记录观察。这绝非易事，因为獾是夜行动物，需要许多个夜晚的艰苦工作。
结果并不令人惊讶，被困住对动物们来说确实压力很大。他们一直在陷阱中，他们一直在努力逃脱。之后压力影响继续存在，当他们回到家时，他们的社交互动和梳理和抓挠等“舒适行为”都更少了。三天后，他们的社交礼仪仍然较少。他们被困的时间越长，压力就越大。 此外，如果他们在夜间（他们的活跃期）被困，那比他们在白天被困的压力更大。
这项研究特别出色地表明，行为观察、生理测量和荷尔蒙观察的结合都有助于对实验的全面理解，并提供了仅靠观察就可以做到的更深刻的见解。
5. 用户体验和健康研究——使用多模式数据研究技术如何帮助痴呆症患者
加拿大的两个实验室合作开发了研究混合现实 (MR) 技术（虚拟现实和增强现实）使用的方法 [7]。 这些实验室是位于加拿大多伦多的社会和技术系统 (SaTS) 实验室以及痴呆症老化技术和参与实验室 (DATE)。他们研究的特定应用是这些技术如何支持痴呆症患者。通常在开发技术时，可以让用户填写问卷，反馈技术是否满足他们的需求。然而，痴呆症患者并不总是能够做到这一点，因此需要使用观察方法。
观察的基础是 The Observer XT，他们还使用眼动追踪眼镜测量注视和瞳孔数据，使用 FaceReader 测量面部表情，还测量大脑神经过程的脑电图。此外，还创建了一个任务评估工具，以量化参与者在使用和不使用 MR 工具的情况下能够在多大程度上执行任务。 最后，使用 The Observer XT 将所有数据汇集、同步和集成。
研究 [7] 的结论是 MR 设备确实有用，而且由 The Observer XT 提供支持的多模式设置是研究参与者与技术交互的有用方法。如果要以满足这些人需求的方式开发技术，那么让技术的最终用户参与开发新技术至关重要。对使用这些技术的人进行良好的研究是确定这一点的最佳方法。
结论
来自许多不同模式的数据的使用正在真正成为主流，与单一模式相比的优势在于它揭示了更深刻的见解，而且如果一种模式失败，数据中可能有足够的冗余，仍然可以发表好的文章。 几年前，处理多模式数据非常复杂，尤其是涉及到集成和同步时。 The Observer XT和NoldusHub 等现代技术使它变得越来越容易和实用。
参考文献
[1] Milica Nikolić, Mirjana Majdandžić, Cristina Colonnesi, Wieke de Vente, Eline Möller, and Susan Bögels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348. doi:10.1111/jcpp.13221.
[2] https://www.learningeeg.com/normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64. doi: 10.1159/000442210. Epub 2016 Feb 23. PMID: 26901596.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151. doi: 10.3389/fnbeh.2019.00151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627. doi:10.3791/52627.
[6] Schütz, K. E., Ågren, E., Amundin, M., Röken, B., Palme, R., & Mörner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts
关注诺达思公众号，获取更多产品信息及学术文章！
相关文章
更多 >