协议进行数据采集和分析应用到自动人脸表情分析技术和时序分析感官评价

摘要

一种用于捕获和统计分析人口的情绪反应饮料和流质食物中使用自动面部表情分析软件感官评价实验室协议描述。

摘要

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant's treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.

引言

自动面部表情分析（AFEA）是表征情绪反应饮料和食品的前瞻性分析工具。情感分析，可以添加一个额外的维度现有感官科学方法，食品评价做法，和享乐规模等级通常在研究和工业环境中使用的两​​种。情感分析可以提供显露对食品和饮料更准确的响应的附加指标。享乐得分可能包括参与者的偏见引起的故障记录反应^1。

AFEA的研究已经在许多研究中的应用，包括电脑游戏，用户行为，教育/教学，并在同情和欺骗心理学研究中使用。大多数食品相关的研究集中在表征情绪反应的食品质量和与食品的人的行为。随着越来越见解食品行为的近期走势来看，文献报道越来越多使用的AFEA用于表征与食品，饮料，和增味剂^1-12相关联的人的情绪反应。

AFEA从面部动作编码系统（FACS）的。面部动作编码系统（FACS）歧视在5点强度等级¹³特点是动作单元（AU）的面部动作。流式细胞仪方法需要训练有素的审评专家，手工编码，显著评估时间，并提供有限的数据分析选项。 AFEA是作为一个快速评价方法来确定的情绪。 AFEA软件依赖于面部肌肉运动，面部数据库和算法来刻画情绪反应^14-18。在这项研究中所使用的AFEA软件平均同时在华沙集情感的面部表情图片（WSEFEP）和阿姆斯特丹动态面部表情集（ADFES），这是接近0.70的标准协议达成的"0.67协议FACS指数为手动编码^"19 。包括在分析通用的情绪是快乐（正），悲（负），恶心（负），惊讶（正或负），愤怒（负），害怕（负）和中性每对0一单独的刻度为1（ 0 =不表达; 1 =完全表达^）20。此外，心理学文献包括高兴，惊讶，和愤怒"办法"情绪（对刺激）和悲伤，恐惧，厌恶和作为"撤军"的情绪（远离厌恶刺激^）21。

目前AFEA软件表征与食物有关的情绪的一个限制是从咀嚼和吞咽以及其他严重电机的动作，比如极端的头部运动相关的面部动作的干扰。该软件的目标更小的面部肌肉运动，有关位置和运动的程度，基于关于面部^16,17超过500肌肉分。咀嚼运动干扰表情分类。此限制通货膨胀可以利用液化食品来解决。然而，其他的方法的挑战也能降低视频灵敏度和AFEA分析包括数据收集环境，技术，研究人员的指令，参与者的行为，和参加者的属性。

一个标准的方法学还没有得到开发和验证为最佳的视频捕获和使用AFEA情绪响应于食物和饮料在感官评价实验室环境数据分析。许多方面可以影响视频采集环境，包括照明，照明，参加者的方向，与会者行为，参加者的高度，以及，照相机高度，照相机钓鱼和设备设置遮蔽所致。此外，数据分析方法是不一致的，缺乏评估的情绪反应的标准方法。在这里，我们将展示我们的标准作业程序，用于捕获情绪数据和处理数据到使用饮料有意义的结果（调味乳，进行评价无味牛奶和未调味的水）。据我们所知，只有一个同行审查的出版物，从我们的实验室群，已用于对情感分析的^8个数据解释的时间序列;然而，该方法已被更新为我们提出的方法。我们的目标是建立一个完善和一致的方法，以帮助重复性感官评价实验室环境。为了演示，该研究模型的目的是评估如果AFEA可以补充的调味奶，无味牛奶和水无味传统享乐接受评估。这个视频协议的目的是帮助建立AFEA方法，规范的感官评定实验室视频拍摄标准（感觉展位设置），并说明了人口的时空情绪数据分析的方法。

研究方案

伦理陈述:在项目开始之前，这项研究是预先核准弗吉尼亚理工大学的机构审查委员会（IRB）（IRB 14-229）。

注意:人体试验之前，参与需要知情同意书。除了IRB批准，同意使用静态或视频图像，还需要之前释放所有图像打印，视频或图文影像。此外，食物过敏原测试之前公开。参加者前面板开始问他们是否有任何不耐受，过敏或其他问题。

注:排除标准:自动面部表情分析是粗框眼镜，胡子拉碴的沉重面孔和肤色敏感。谁具有这些条件的参与者与软件分析不相容由于失败视频的风险增加。这归因于该软件的无法找到的面。

1.样品制备和受试者招募

1. 准备饮料或软食品样品。
   1. 准备从科斯特洛和克拉克^（2009）22加强用2％牛奶乳制品的解决方案和建议香料以及其它香精。准备以下解决方案:（1）牛奶无味（2％减脂牛奶）; （2）未调味的水（饮用水）; （3）在乳香草精香料（0.02微克/毫升）（仿清楚香草香料）;和（4）咸鲜味牛奶（0.004克/ ml的碘化盐）。
      注意:这些解决方案仅用于演示目的。
   2. 倾各溶液的一半盎司等份（约15 G）成2盎司透明塑料样品杯和顶盖采用彩色编码盖。
      注:建议使用透明的杯子;然而，它是由研究人员的判断。
2. 从校园或当地社区招募学员参加学习。
   注:需要研究参与者的样本量高达研究者的自由裁量权。我们建议范围10到50人参加。
3. 获得在参与研究前人类受试者同意。

2.准备工作小组室视频拍摄

注:该协议是在感官评价实验室数据采集。该协议是为了使一个感官展位设置AFEA数据采集有用的。

1. 使用单独的展位与他们（面层）的正面触摸屏显示器，以保持他们的焦点向前，以防止往下看。
2. 使用与背部支撑可调节高度的椅子。
   注意:这些是用于使被垂直地调整，并放置在适当的范围内的视频捕获参与者是必不可少的。所以参与者的运动是减少使用固定座椅（无滚动功能部件），可调节靠背高度支持。
3. 设置为"100％日光"头顶上的灯光最佳面部情感视频捕捉（6504K光源; R = 206，G = 242，B = 255）。
   注意:为了避免激烈的阴影，弥漫正面照明IDE人而光强度或颜色不为相关^20。最终，它是由研究人员，个别协议/方法，和环境来控制照明捕获的判断。
4. 贴上一个可调相机触摸屏监视器记录之上。
   1. 使用照相机与至少640×480像素（或更高^）20的分辨率。讨论与购买和安装前²⁰的软件供应商所需要的拍照能力。注意:长宽比不重要^20。
   2. 将相机拍摄速度为每秒（或其它标准速度）30帧的一致性。
   3. 连接并确保媒体录制软件设置相机记录和保存参与者的视频。

3.参与者调整和口头指示

1. 有一次只有一个参与者评价在感官展位样本。
   注:测试超过同时一个参与者可以与测试环境干扰和破坏参与者的浓度或创建偏压。
2. 抵达后，让参与者了解流程和标准作业程序的口头指示。
   1. 有与会者直坐起来，靠在椅背上。
   2. 调整座椅高度，座椅（与相机的距离）的位置，摄像头角度，使参与者的脸在视频录制的中心拍摄的，对下巴和眼睛周围没有阴影。
      注:在展台感觉，参与者的头部大约20 - 从相机和摄像机的视频饲料中居中面对监视器24英寸的距离。
   3. 作为定位，重点突出对显示器的显示面对指示参与者保持坐姿。此外，指导学员在每次采样的30秒评估期间从任何突然的动作后的样品消耗避免。
   4. 指导参与者要消耗整个饮料或液化食品样品和吞咽。
   5. 指示参与者快速立即移动到表中的样品杯的下巴下方上下后的样品是在口中。这是为了消除面部遮挡。提醒他们保持对显示器外观。
      注:样品载体提供所述样品是至研究者的判断。可以使用吸管或杯子。无论如何，最初的面部遮挡是不可避免的，因为脸会被遮挡或由于消费扭曲。
3. 指导参与者，因为他们出现在触摸屏显示器上按照指示。注:烧写到自动化的感官软件指令自动测序。

视频采集4.个别参加流程

1. 确认视频摄像机捕捉最佳参与者的脸，而参与者就座舒适的展台（样品演示前）通过查看其上显示的视频拍摄电脑显示器。通过点击电脑显示器上的录制按钮开始录制。
2. 指导参与者抿水来清洁自己的口味。
3. 同时提供的治疗方法之一，从基线或对照（无味的水）。通过放置在涉及对视频内的样品处理识别样品颜色代码每个样品的顶部独特的彩色索引卡标识每个样本。
   注:触摸屏显示器上编程指导指导参与者。说明书通过一系列每个处理样品标准化步骤引导参与者。
4. 通过触摸屏显示器，直接参与者:
   1. 托起相关的颜色索引卡片预消耗在视频样品标识。
      注:色卡是研究人员的方式可以在视频中找出治疗方法第二标记样品评估适当的时间框架（时间零）。
   2. 短暂地保持卡后，将卡重新放回托盘上。
   3. 完全消费样本，等待大约30秒，通过监视器上的编程指导执行，而对相机面对的问题。
      注:30秒受控取样周期包括一个时间跨度足够用于整个采样评估期（ 即，示出了索引卡，打开一个样品（除去盖），消费，和情感捕获）。
   4. 进入他们的享乐可接受比分触摸屏显示器上（1 =厌恶至极，2 =很不喜欢，3 =不喜欢中度，4 =不喜欢咯，5 =既不喜欢也不厌恶，6 =就好咯，7 =像适度，8 =非常喜欢，9 =极喜欢）。
   5. 下一个样品前处理饮用水漱口。

5.自动评估面部表情分析选项

注:很多面部表情分析软件程序存在。软件命令和功能可以变化。重要的是要遵循制造商的用户指南和参考手册²⁰是很重要的。

1. 保存记录在媒体格式和传送到自动面部表情分析软件。
2. 使用自动面部分析软件分析参与者的视频。
   1. 双击电脑桌面上的软件图标。
   2. 一旦程序打开后，点击"文件"，选择"新建..."，然后选择"项目..."
   3. 在弹出的窗口中，将项目命名并保存项目。
   4. 通过单击"添加参与者"图标（人用（+）号）的参与者加入到项目中。更多的参与者可以通过重复此步骤中加入。
   5. 与会者的视频添加到用于分析各自的参与者。
      1. 在屏幕的左侧单击电影卷轴无线网络的图标第一个加号（+）号以添加一个视频来分析。
      2. 点击感兴趣的参与者在"放大镜"来浏览视频的补充。
3. 下的软件连续校准分析设置分析视频帧接一帧。
   1. 点击铅笔图标，窗口底部调整设置，每个参与者视频"设置"选项卡下。
      1. 将"人脸模型"将军。将"平滑化分类"为是。设置"采样率"，以每一帧。
      2. 设置"图像旋转"，以编号设置"连续校准"，是的。设置"选择的校正"来无。
   2. 保存项目设置。
   3. 按下批处理分析图标（相同的红色和黑色的靶样的符号）来分析项目的影片。
   4. 结果保存一次分析完成。
      注:在软件如果researc存在其他视频设置她喜欢另一个值得分析的方法。
   5. 考虑视频故障如果严重的面部闭塞或无法面对映射指定的消费后窗口（ 图1）过程中仍然存在。此外，如果模型没有数据会说在导出输出文件"FIT_FAILED"或"FIND_FAILED"（ 如图2）。这表示丢失的数据，因为该软件不能分类或分析参与者的情绪。
      注:转换AFEA面部肌肉运动中立，快乐，厌恶，悲伤，愤怒，惊讶和害怕从0分（不表达）到1（完全表示）为每情感。
4. 导出AFEA数据输出日志文件（.txt）作进一步的分析。
   1. 一旦分析完成，导出整个项目。
      1. 点击"文件"，"导出"，"导出项目成果"。
      2. 当打开一个窗口，选择的出口寿所在的位置LD保存和日志文件（.txt）保存到一个文件夹。
      3. 转换每个参与者记录生活到数据电子表格（.csv或.xlsx）中提取相关数据。
         1. 开放式数据电子表格软件，并选择"数据"选项卡。
         2. 在"数据"选项卡，在"获取外部数据"组中，单击"从文本"。
         3. 在"地址栏"，找到，双击参与者的文本文件导入，然后按照屏幕上的向导说明。
         4. 继续对所有相关参与者的文件导出过程。

6.时间戳参与者视频数据分析

1. 使用AFEA软件，手动检查每个参与者的视频，并确定消费后的零时间每个样品。记录在一个数据的电子表格的时间戳。当样品杯是参与者的下巴下面，不再OC后期消费被定义cludes脸。
   注意:时间戳的位置是为评价是至关重要的。其中杯不再闭塞面点是最佳的建议和时间戳需要是所有参与者一致。
2. 保存时间戳数据电子表格（.csv），作为从视频中提取相关数据的引用。
   注:参加者的视频，也可以在软件中，"事件标志"内部编码。

7.时间序列分析的情感

注意:考虑"基线"是控制（ 即，在本实施例未调味的水）。研究人员已经制造出不同的"基准治疗刺激"或"无刺激的基准时间"取决于调查的利益配对比较的能力。通过配对统计测试提出了一个"默认"状态帐号的方法。换句话说，该程序使用统计阻塞（ 即配对检验）来调节每个参与者的默认外观，因此减少了穿过参与者的可变性。

1. 摘自导出的文件（.csv或.xlsx）格式的相关数据。
   1. 确定相关的学习评价（秒）的时间框架。
   2. 手动提取导出的文件，参加咨询参与者时间戳（时间零）相应的数据（时间段）。
   3. 在新的数据电子表格中选择时间框架（秒）编译每个参与者的治疗数据（参与者数量，治疗，原创视频的时间，和情感反应）每情感（高兴，中性，悲伤，愤怒，惊讶，恐惧和厌恶）对于未来的分析（ 图3）。
   4. 继续此过程为所有的参与者。
2. 从每个参与者处理对时间戳文件标识相应的时间零，并调整视频时间到真正的时间为"0"的直接比较（ 图4， 图5）。
   注:参与者数据被收集在一个连续的视频因此每个处理"的时间零"是不同的（ 即，无味水视频时间零点是02:13.5和未调味乳视频时间零点是03:15.4）。在图4中由于不同的治疗"时间零"，需要的视频时间进行调整和重新调整，在启动"0:00.0"或其它标准的开始时间，以便处理情绪反应数据进行直接比较的时间。
3. 对于每一个参与者，情感和调整后的时间点，提取配对处理（ 如 ，无味牛奶）和控制处理（ 如，无味的水）定量情绪得分。换句话说，对准参与者的处理和控制的时间序列的每个情绪（ 图5）的反应。
4. 编译所有参与者的信息（参加者，调整后的时间，和配对治疗（ 例如，无味水和未调味乳）在每个时间点（ 图6）。
   注意:以下步骤演示了手工配对威尔科克斯测试的步骤。大多数数据分析软件程序会自动完成。建议用统计学家讨论的统计分析过程。
5. 一旦样品被复位，并与新的调整后的视频倍对齐，直接的相应样品的情感结果，并使用在整个参与者顺序成对非参数的Wilcoxon检验与对照（未调味的水）（ 图7）之间进行比较。
   注:样品的新时间对准将允许5秒消费后的时间框架内的直接比较。如果一个配对观测中不存在的处理，丢弃从该时间点比较的参与者。
   1. 使用数据spreadshe计算控制和各样品的每个配对比较的区别等的管理软件。
      注:比较将取决于选择用于在软件情绪分析的帧速率。该协议证明了每秒30个人比较5秒（选定的时间帧）。
      注意:使用图7为列和步骤的参考。
      1. 从控制（ 例如 ，无味水），以确定的差的值中减去的乳（ 例如，无味牛奶）的值。在标题为"治疗差异"的新栏，输入"=（C2） - （D2）"数据电子表格管理软件，其中的"C2"是控制情感价值和"D2"是选定治疗情感价值。继续为所有时间点的这个过程。
      2. 计算治疗差异的绝对值。在新列中的数据电子表格管理软件，输入"= ABS（E2）"，其中"E2"是治疗差异。继续此过程所有时间点。
      3. 确定治疗差异的排名顺序。在新列中的数据电子表格管理软件，输入"= RANK（G2，$ G $ 2:$ G $ 25 1）"，其中"G2"是绝对差和"1"是"上升"。继续为所有时间点的这个过程。
      4. 确定电子表格上的排名次序的符号秩。改征阴性，如果治疗差异为负（I栏）。
      5. 计算正和（= SUMIF（I2:等级值I25）:I25，"> 0"，I2:I25）和负总和= SUMIF（I2:I25，"<0"，I2。
      6. 确定检验统计量。检验统计量是绝对值低总和。
      7. 协商使用数字的观察包括在特定的时间和所选择的α值来确定临界值Wilcoxon符号排名检验统计统计表。
      8. 如果测试统计量小于临界值拒绝吨他零假设。如果是较大的，接受零假设。
6. 图表上相关的治疗图形（ 即，无味奶相比无味水）为次的结果，当零假设被拒绝。使用差的符号来确定哪个治疗具有较大的情绪（ 图8）。
   1. 在数据表格管理软件，创建一个使用存在或不存在的意义的值的曲线图。
      1. 点击"插入"选项卡。
      2. 选择"线"
      3. 右键单击图框。
      4. 点击"选择数据"，并按照屏幕上的提示选择与图形相关的数据（ 图8）。
         注意:图表将描绘情感结果，其中样品或控制较高和显著。图表依赖，情感是在那个特定的时间允许更高的辨别如何参与者的情绪的能力演变在两个样本之间5秒的时间段。
         注:与统计学家统计支持，强烈建议来提取相关数据。需要统计编码的发展来分析情感的结果。

结果

该方法提出了AFEA数据收集的标准协议。如果建议的方案步骤之后，不可用的情绪数据输出（ 图1），从数据收集差导致（ 图2:A;左图）可能会受到限制。如果日志文件（.txt）主要含有"FIT_FAILED"和"FIND_FAILED"，因为这是不好的数据（ 图1）的时间序列分析，不能利用。此外，该方法包括用于在一时间帧的情感数据输出的两种治疗之间的直?...

讨论

在有关食品和饮料文学AFEA应用是非常有限的^1-11。食品中的应用是新的，从而为建立方法和数据解释的机会。 Arnade（2013年^）7间发现个人的情绪反应巧克力牛奶和曲线分析和方差分析下，使用面积奶白色高个体变异。然而，即使参与者可变性，产生参加一个幸福的响应，而较长的悲伤和厌恶有更短的响应时间^7。在另一项研究中使用的高和低浓度基本的味道，Arnade（2013年

材料

Name	Company	Catalog Number	Comments
2% Reduced Fat Milk	Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC	na	for solutions
Drinking Water	Kroger Brand, Cincinnati, OH	na	for solutions
Imitation Clear Vanilla Flavor	Kroger Brand, Cincinnati, OH	na	for solutions
Iodized Salt	Kroger Brand, Cincinnati, OH	na	for solutions
FaceReader 6	Noldus Information Technology, Wageningen, The Netherlands	na	For Facial Analysis
Sensory Information Management System (SIMS) 2000	Sensory Computer Systems, Berkeley Heights, NJ	Version 6	For Sensory Data Capture
Rhapsody	Acuity Brands Lighting, Inc., Conyers, GA		For Environment Illumination
R Version	R Core Team 2015	3.1.1	For Statistical Analysis
Microsoft Office	Microsoft	na	For Statistical Analysis
JMP	Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC	na	For Statistical Analysis
Media Recorder 2.5	Noldus Information Technology, Wageningen, The Netherlands	na	For capturing participants sensory evaluation
Axis M1054 Camera	Axis Communications, Lund, Sweden	na
Beverage		na	Beverage or soft food for evaluation