许多眼动追踪研究依赖于复杂的视频刺激和真实世界设置，使数据分析高度复杂。这种分析技术允许以更丰富、更自动化的方式分析基于视频的数据，而不是当前可用的方法，从而更丰富地提取更复杂的数据。此方法可用于许多不同的眼动追踪应用，特别是在现实世界中或那些使用视频作为刺激的应用。
景观研究依赖于理解人们对不同视觉刺激的反应。这种技术与眼动追踪相结合可用于测试这些假设。对于这种类型的研究，团队方法是必不可少的，因为有多个方面需要高水平的投入和考虑。
与我展示这个程序的将是我的研究生安德鲁·特雷勒。胶片序列应在有自然光的眼动追踪实验室中显示，但可以控制该实验室，以避免屏幕上的反射尽可能大，从而占用尽可能多的视野，从而避免视野外的干扰。在学员坐在离屏幕 60-65 厘米远的地方后，请他们想象是否需要使用一个句子来恢复，该句子允许参与者在眼动追踪视频的上下文中进行想象。
然后使用桌面眼动追踪设备以预定的随机顺序为参与者播放影片，以记录参与者在每个视频中的眼动。要设计感兴趣的区域，请选择研究感兴趣的项目，如树木、灌木、路标、建筑物、路径、台阶。为了获得最佳性能和最低训练要求，请使用在肉眼和/或始终占据每个视频帧不同区域时易于视觉区分的元素。
通常，包括足够的培训示例，描述每个 AOI 的视觉差异，应该足以使性能强劲。修改所有项目后，选择适当数量的训练帧以完成训练集。没有适当的固定号码。
接下来，从图像编辑软件中的视频打开每个训练帧，并且每个帧在加载的图像上叠加一个透明的图像图层，用于标注，并创建一个调色板，为每个给定的对象类提供一种颜色。要为感兴趣的样本区域选择颜色，请单击并拖动区域中的像素，以使用适当的调色板选择在样本区域中着色。框架标记完成后，将叠加图层导出为单独的图像文件，同时注意基本文件名与原始框架基本文件名匹配，但末尾附加了 C。
要定量验证训练分类器的准确性，请从尚未选择包含在训练集中的原始视频序列序列中选择帧，并标记每个帧中的像素，就像刚刚演示的训练帧尽可能精确和全面一样。框架标记完成后，使用与训练相同的命名约定，将文件保存到单独的验证框架文件夹中。对于视频序列的自动像素标记，启动 Darwin 图形用户界面并单击负载训练标签。
若要为培训和标记配置 GUI，请选择创建项目并使用弹出式对话框为项目提供名称。在弹出窗口中选择包含视频序列所有原始帧的文件夹。使用弹出窗口文件资源管理器对话框，选择包含相关视频序列的标记训练图像的文件夹。
在文件资源管理器对话框中，选择包含相关视频序列的所有标记验证图像的文件夹。按照提示为所有输出帧选择目标文件夹，该文件夹将采用与训练中使用的相同调色板为标记图像的形式。使用弹出对话框，在感兴趣的区域下，输入要标记的感兴趣区域，包括用于在训练示例中标记每个区域的红色/绿色/蓝色值。
该算法将检查每个标记的训练帧，并学习用于将像素分类到任何感兴趣的指定对象类的外观模型。培训完成后，单击验证培训。在文件资源管理器对话框中，选择包含相关视频序列的所有标记验证图像的文件夹。
若要直观地验证生成的标签，请单击可视化验证。每个生成的标记图像将显示在原始验证框架旁边。如果在定量或定性验证中观察到的精度低于可接受的水平，则包括并重新培训进一步的培训示例。
分类器训练和验证阶段完成后，单击运行推理，使用训练分类器开始对视频序列中所有帧的完整标记。标签完成后，可能需要几个小时，请单击浏览输出以查看生成的标签。大多数眼动追踪软件都会显示，与第一个视频中视频的 x 坐标上，参与者平均扫描左右，而热图显示更圆的形状的第二个视频。
使用本文中描述的机器学习像素标记技术，我们可以看到更多细节。固定时间百分比的图形表示表明，在视频过程中路径清晰可见。但是，正如眼动追踪数据中的此图所示，参与者只会偶尔在关键点查看此功能。
这里显示了整个视频长度查看对象时，此代表性研究的所有 39 名参与者的停留时间摘要。在此图中，相同的停留时间数据除以视频中不同对象占用的时间和空间量。值为 1 表示驻用时间可以由视频中的对象量来计算。
例如，在两个图像中不太相关的对象（如天空）的查看次数相对低于其他对象。与其他自然物体相比，路灯和长凳等人工物体在更大程度上被居住。这类分析可以有许多广泛的用途来研究注意力和显著性的问题，并且可以对不同的研究领域进行许多广泛的应用。
随着短片作为视觉刺激的使用变得越来越普遍，我们预计这种技术会越来越受欢迎。
