创建对象和对象类别学习的认知与知觉学习

摘要

我们描述了一种新的方法，创造自然的3-D对象和对象类的精确定义的功能变化。我们用模拟的生物过程的形态和系统发育创造新颖，自然的3-D虚拟对象和对象类别，然后将其呈现为视觉图像或触觉对象。

摘要

为了定量研究对象感知，感知的生物系统的机器，需要创建对象和对象类别，精确地定义，最好是自然的，性能^1。此外，知觉学习的研究具有这种性质的^2，创建新的对象和对象类（或对象类 ），它是有用的。

目前存在许多创新和有用的方法，创造新的对象和对象类^3-6（见参考文献7,8）。但是，一般来说，现有的方法有三个广泛类型的缺点。

首先，形状的变化通常是所施加的实验者^5,9,10，因此有可能不同的变异在自然的类别，并优化用于一个特定的识别算法。这将是可取的差异，产生独立的EXTErnally施加的约束。

其次，现有的方法具有难以捕获自然物体^11-13的形状的复杂性。如果我们的目标是研究自然的感知对象，它是理想的对象和对象类是自然的，从而避免可能的混淆和特殊情况。

第三，它一般是很难通过常规方法创建的刺激中，定量测定可用的信息。这将是可取的创建对象和对象类别的可用信息，可以精确测量，并在必要的情况下，系统操作（或“微调”）。这使人们在量的方面制定相关的对象的识别任务。

在这里，我们描述了一系列的算法或方法，以满足上述所有三个标准。虚拟形态（VM）创建新的，自然的3-D虚拟的对象被称为“数字化胚胎的模拟生物胚胎发育过程中^14。虚拟系统发育（VP）创建新型的，自然的对象类别，通过模拟进化过程中自然选择^9,12,13。通过这些模拟的对象和对象类别可以进一步处理各种变形的方法来产生系统变化的形状特征^15,16。的副总裁和变形的方法也可以适用，原则上，新的虚拟对象以外的其他数字胚胎，或到虚拟现实世界对象的版本^9,13。以这种方式创建的虚拟对象可以呈现为视觉图像，使用常规的图形工具包，所需操作的表面纹理，光照，大小，角度和背景。虚拟对象也可以被“印有”触觉对象，使用传统的3-D prototyper。

我们也介绍了一些实现这些计算的算法，以帮助出版于trate算法的潜在效用。从它们的实现，重要的是要区分的算法。仅提供作为证据的原则“的底层算法的实现示威。重要的是要注意的是，在一般情况下，执行一个计算算法往往有限制，该算法本身不具备。

总之，这些方法代表一组功能强大且灵活的工具，用于研究生物和计算系统的目标识别和知觉学习的一致好评。通过适当的扩展，这些方法也可能证明是有用的形态和系统发育研究中。

研究方案

1。建立自然主义的3-D虚拟对象，使用VM

1. 要创建数字胚胎，使用数字胚胎工作坊（DEW 见表1）。每次运行产生一个单一的胚胎^14，这是唯一的一组给定的设定值（或“基因型”），用于在给定的运行（ 图1）的形状。三角形¹⁴表示为'细胞'的胚胎。
   1. 运行该程序根据需要多次，以生成所需的胚胎数。
   2. 如果需要更复杂的形状，增加生长周期的数目， 即会分化的胚胎细胞的数目的次数。请注意，这也将减缓方案。如果有必要创建虚拟对象以外的其他数字胚胎，用市售的3-D建模工具或获得虚拟的对象，从商业供应商（ 表1）。
2. 它通常是可取的储存虚拟对象S中通常使用的文件格式，如OBJ，使物体可以很容易地导入到一个商业化的3-D建模工具包。为此，DEW写入默认情况下，在OBJ格式的对象。
3. 可以产生的视觉刺激，使用一个或多个数字的胚胎，使用3-D建模和渲染环境（ 表1）。使用标准的图形的操作，如不同的方向，大小，照明，表面纹理和背景来创建所需的刺激（参见图2）。

2。建立自然主义的对象类别，使用VP

1. 生成对象类别，产生的后代（或“孩子”）的给定的祖先（或'父'）对象，使用以上步骤1.1中的过程（ 图3）的所希望的组合^{，9,10,12,13。}
   1. 下面描述的一些方法，为创建流畅的造型变化，如变形或主要组成部分（见下面的步骤3和4），贝特呃，如果所有的输入对象的单元格具有相同的编号，如果有一个到对象的顶点之间的一一对应。创建此类对象，只有那些使用VM的进程不会改变细胞的数量，并会保留一个一一对应的顶点中的对象（见， 例如 ，一代又一代G _{2，G 3}在图3）。比如，细胞分裂和细胞程序性死亡的改变的细胞数，并使其更难（虽然不是不可能的^17,18），以确定一个给定的对象的对的顶点的一个之间的一一对应关系。
      请注意，改变细胞的数量的过程，在一个给定的对象也改变其形状的复杂性。在一般情况下，细胞的数目越大，更大的的对象的形状的复杂性和平滑的表面。
   2. 如果有必要，可以使用其他的虚拟对象比数字胚胎为VP（图4）的输入。
2. 给定类别内的对象，还可以选择，以便达到一个给定的功能分配^19。比如，人们可以选择性地从一个给定的类别消除中型物体，以便产生双峰分布的对象的大小。
3. 有没有一个方法，是普适的最佳测量提供所有类别的形状信息，也没有一个方法，是最适合的所有对象进行分类^20-22。因此，experimentor必须选择这些方法的类别和计算目标在手^20-22。步骤4描述了一种常用的方法为可用的形状信息的操作的各个方面。
4. 对给定的类之间的相似性，可以客观测量，利用现有的系统发育分析方法^23,24。例如，一个给定的类别对垂直（或'进化'）之间的距离，作为衡量分层的clustering在R统计工具包的方法，是一个客观的衡量标准类相似^25,26。

3。其他的方法创建形状变化：数字变形

1. 鉴于任何对对象，使得一个对象中的每一个顶点对应到恰好一个顶点的其他对象（ 即 ，顶点的一个之间的一一对应关系的对象），变形是直截了当^{17,18,27-29：}在此情况下，平滑变化（或“变体”）所产生的两个对象之间的对应的顶点和法线（ 图5）之间的平滑的插值。根据对对象选择，变形将导致新的类别或新的附加在一个类别之内的儿童。
   1. 在图5中所示的对象创建使用线性变形^27-29。对象可以了大量的其他可用的变形技术^17,18演变（或扭曲）。
2. 要创建所需的变体形状分布，选择相应的插值点。

4。额外的的创建形状变化的方法：主成分

1. 为了使用主成分，以产生形状的变化，需要首先确定的主要部件^15。主成分的特定的给定集合的对象，用于确定^26。为了获得良好的结果，使用至少30个对象与一个之间的一一对应关系的顶点^26。
2. 生成一个平均的对象 从所需的一组n个输入对象，通过分别平均的坐标和正常跨所有对象的每个顶点。因此，一个给定的顶点 k 的 x坐标 应该是所有n个对象的顶点 k 的 x坐标的平均值，等等。
3. 使用MATLAB函数主成分法以确定的n个对象的主成分。这将生成n-1个非零的特征向量，以及与相应的n-1个本征值^26。
4. 要生成一个新的对象_的 J从一个给定的主要成分_P I，乘以所对应的特征值_λi和理想的体重_w j的_P I和增加平均的对象：
   _A J = + _w j的_{λI P I}
5. 每一个独特的_w j的将生成一个唯一的对象。平滑变化的瓦特 ，可以创建平滑的形状变化以及给定的主要成分。
6. 要创建一个独立的外形尺寸以及形状的变化，重复步骤4.4使用不同的主成分。
7. 要创建一个想要的形状沿着给定的主要成分，使用所需的分布的 W
8. 为了创建一个多维网格的形状，使用的权重的一组的每个的数个主要组件：
   

5。创建触觉版的3-D对象

1. “打印出的3-D对象，使用3-D prototyper的（或3-D'打印机'）。如果有必要，调整对象的大小和物体表面的平滑，在打印之前。

6。示范性应用：贝叶斯推理的图片分类

1. 视觉处理的一项重要任务，推断出一个给定的观察对象所属的类别。虽然这一推论的确切机制是未知的，有计算和生理证据^{9,12,13,30-32的} ，它涉及使用该对象有关的已知功能的信息在给定的图像来推断的对象的类别。在这里，我们将插图TE这个推理过程是如何工作在贝叶斯框架，数码胚胎的研究在这方面可能是有用的。
2. 为了简单起见，我们假设的分类任务是二进制，涉及区分种类 K类L（ 图3）。 设 C是类变量。我们将推断出C = K或 C = L根据是否观察图像i属于类别K或 L。一个典型的分类方法包括：
   1. 类别是 K给定的图像中的信息的概率计算， 用p（C = K | I）;
   2. 计算给定的图像中的信息的类别是L的概率， 用p（C = L | I）;
   3. 挑选类别的概率越高。
3. 接着，为简单起见，我们将假定恰好有一个二进制功能 F。此功能可能是存在于图像（ 表示为F = 1）或不存在的图像（ 表示为F = 0）。这个例子将使用“的信息片段”功能， 如图8所示。资料片段，第一次描述了乌尔曼和他的同事^33。在本情况下，我们将使用为特征，在图8中所示的图像模板和阈值0.69。要确定此功能是否是在一个给定的图像（例如， 图3中的最右边的图行G3），我们将使用以下步骤：
   1. 滑动此模板图像中的所有可能的位置，和计算，在每个位置，模板和底层的子图像之间的标准化的互相关的绝对值。
   2. 选择图像位置的最高值（0.60在目前的情况下）。
   3. 如果此值超过阈值，得出结论该功能是存在的，否则，得出这样的结论：它不存在。在我们的例子中，自相关性最高0.60是低于0.69的阈值，我们得出这样的结论：在此图像中不存在的功能。
   4. 使用这种功能的合理性，并选择功能的机制，并确定其阈值超出了本报告的范围，但在文献中有详细描述33，30。
4. 基于特征的推断的框架内，我们承担的所有信息，观察员从图像提取物中包含此功能的价值。 （五），即P（C | 我 ）= P（C | F）。
   因此，任务变得确定F 的值，在给定的图像（存在或不存在）， 计算p（C = K | F）和p（C = L | F）为该值 F，和选择的类别与较高的probabi附录一般资料。
5. 在贝叶斯框架，

因此，

和

请注意，两个方程的分母中的是相同的。因此，为了比较P（C = K | F）和p（C = L | F），它是没有必要计算分母;相反，它是足够的计算的数量

P（C = K | F）αP（C = K）P（F | C = K）

和

P（C = L | F）αP（C = L）P（F | C = L）
钍东南偏东有时也被称为“非标准化的概率”。 项p（C）被称为'事先'，和项p（F | C）被称为“似然”。

6. 为了简单起见，我们假设一个'平'之前：P（C = K）= P（C = L）= 0.5。
7. 现在的任务是计算p（F | C），一个给定的图像中的一个给定的C 类的特征值的概率。
   1. 我们将使用6 L 类的图像（ 图3）作为一个例子来计算p（F = 1 | C = L），该功能的概率是本中的图像的L 类 。
   2. 计算P（F = 1 | C = L），首先把所有的训练图像属于 L。同样地，这些都在图3中所示。
   3. 对于每一个图像，确定的特征值是否为1（本）或0（不存在），中描述的（6.3.1） - （6.3.3）。在我们的例子中，在图3中的六幅图像，这些值是：[0，0，1，0，1，0]。
   4. 计算在其中的图像的特征值是1的馏分。在我们的例子中，它是2/6 = 0.33。
   5. 因此，对（F = 1 | C = L）= 0.33。请注意，要获得准确的估计，应该使用至少每类30幅图像。
   6. 以类似的方式，我们可以计算是p（F = 0 | C = L）= 0.67，（F = 1 | C = K）= 0.83，（F = 0 | C = K）= 0.17。
8. 鉴于这些值，可以进行推理。假设，我们给出一个新的图像（ 图9），和的任务是确定其类别标签。这是如下进行的：
   1. 我们确定特征 F是否是在图像中存在的，所述式（6.3.1） - （6.3.3）。在我们的情况下，有限元分析ture是存在的，所以F = 1。
   2. 利用方程（1）和（2），计算出的值（在6.7.5） - （6.7.6），我们可以计算出， 是p（C = K | F = 1）= 0.42 和p（C = L | F = 1）= 0.17。
   3. 有了这个信息，它是理性的，得出这样的结论：图像是从种类K，相对较低的信心。
9. 这可能是有趣的和有用的测试这种方法在生物系统中（例如，心物）。在这种情况下，可以提出和行为的预测的计算的结果，如（6.8.2）中得到的比较。做出准确的预测，估计P（F | C）是必要的。然而，这样的估计，可能是很难获得熟悉的物体。其原因是，被检者的估计的p（F | C）还没有观察直接和来计算它，因为拍摄对象，它是非常困难的“之​​前曝光的自然图像是不可控的，未知的。相反，如果数字胚胎用于实验，则可以以精确地控制胚胎和胚胎类别的主题被暴露。这使得它很容易计算数量的完全相同的数据，这个​​问题被暴露在。事实上，胚胎的出现是自然主义是有帮助的，因为它使得它的主题可能使用相同的分类策略与自然的类别。

结果

虚拟机可以被用来生成一个新的3-D图形的供应几乎是无限的。使用VM算法生成的某些示范性数字胚胎示于图1中的底部面板。这些16个胚胎中的每一个都使用'growEmbryos.exe'在数字胚胎工具为Cygwin方案（ 见表1）的40的增长所产生周期。所有其他生长参数设置内部的程序。这些参数是恒定的（ 即 ，从一个胚胎的相同）。几个参数，如形态发生源的位置和强度，内部为每个运行的程序独立设置的参数是随机的。在这些16个胚胎的形状变化产生仅仅作为这些随机参数中的变化的结果。

使用一些任意选择的纹理表面纹理^34,35某些例子是在图2A中所示。视觉场景的使用市售的3-D建模和渲染环境，如在图2B中所示，可以创建rbitrary复杂。

一位代表的“家庭树”所产生的副总裁，使用数字胚胎如图3所示。可比树木也可以被构造使用比数码胚胎的其他对象，如在图4中示出。请注意，在上述任何一种情况下，共享一个共同的祖先的对象直截了当地构成一个类别，虽然实验者也可以选择定义一个类别作为任何其他的对象集。这是值得注意的从图4中 ，我们目前的执行的VM和VP算法产生相对光滑，弯曲的表面，而不是锯齿状或平面物体的倾向。还值得一提的是，这大概是我们实现这些算法，而不是算法本身的限制，因为biolological过程可以产生物镜TS平面和锯齿状的轮廓（ 如玫瑰花瓣）。

图5和图6示出2的方法，可用于添加到或代替，VP用于创建原则变化的物体的形状和对象类别的典型结果。

的顶面板图7示出两个数字胚视觉渲染，和图7示出的底部面板用市售的3-D prototyper产生相应的打印输出。

图8和图9示出了第6节中所描述的程序，用于使用图像片段进行分类的一个给定的视觉对象。

图1。虚拟形态。 的底部面板说明了一个类型的小说，自然，虚拟3-D对象称为“数字胚胎^”14。数字胚胎可以生成通过模拟一些生物胚胎发育的关键过程：形态发生素介导的细胞分裂，细胞生长，细胞运动和程序性细胞死亡^{7,8,36,37中的}一个或多个。每个运行开始与一个二十面体（在顶部面板中所示），并产生一个独特的胚胎，根据在VM上的参数设置（或“基因型”），胚胎。因此，底部面板中的16个胚胎有不同的形状，因为它们都具有不同的基因型。另外，简单的或更复杂的形状可以根据需要生成（ 例如 ，以优化在给定水平的视觉层次刺激神经 ​​元），通过操纵的基因型的胚胎。程序性细胞死亡的所有的上述embryogenetic进程除了进行了模拟产生所示的胚胎。尤其是模拟程序性细胞死亡用于创建有针对性的凹口（图中未示出）。

图2。创建使用数字胚胎的视觉刺激。数字胚胎就像任何虚拟3-D对象，可以图形化的操作使用任何标准的3-D图形工具包创建任意复杂的视觉场景。这个数字说明了一些常见的操作。（A）相同的数字胚胎纹理使用许多不同的纹理，并点燃一种无形的光源在左上角。（B）经过伪装的现场，通过调整和重新定位数字的胚胎和创建数字质感与相同背景。可以发现在右下象限中的“平面图”的数字胚胎。对于视觉刺激的创建另外的例子ated使用数字胚胎，参考文献。 9,10,12-14,38。

图3。创建数字胚胎类别的副总裁 ，副总裁算法模拟生物进化，因为在这两种情况下，新的对象和对象类中出现的遗传变异积累选择性。在每一代_G I，选择胚胎生育，导致一代_G I _+1。后代继承他们的父母的形状特征，但累积自己的形状变化（其基因型的小的变化所确定的），因为他们发展。此图显示了三代子孙，从一个共同的祖先，一个二十面体“家庭树”。需要注意的是，在这种情况下，二十面体的形状的复杂性的增加从产生离子G _1，而不是从G ₁起。这是因为，从二十面体细胞数增加（ 即细胞分裂）代G _1，而不是从G ₁起。在一般情况下，细胞分裂增加的形状的复杂性，而其他的形态发生过程，如细胞运动和细胞生长不改变形状的整体复杂性的情况下改变形状的倾向。

图4。 VP使用虚拟对象以外的数码胚胎。这个数字可以说明的一般原则，可作为虚拟对象以外的其他数字胚胎输入到VP。 VP算法在目前的形式可以运行在任何虚拟3-D对象，其表面是由完全的三角形。新一代G ₁其中包括版（从左至右）葫芦，钻石，面罩，苹果，岩石和仙人掌。请注意，在该图中的代G ₁中的对象不具有一个共同的祖先，因为VP并不需要它。 G _{2，G 3}中的对象代表的岩石在G ₁的后裔。任何生成，被允许在没有细胞分裂，使所有纯粹从个体的细胞“的给定对象的运动和/或生长的产生的形状变化。

图5。使用变形，以创建平滑的形状的变化。变形涉及到两个给定的对象（最左边和最右边的胚胎在该图中），并通过内插计算的中间对象（干预胚胎）之间的相应的顶点的两个候三维物体。在所示的情况下，所有的顶点进行插值使用相同的标量系数，导致一个线性变形。然而，它也有可能非线性变形对象（未示出）。变形计算上是简单的，当有一个确切的两个对象的顶点的一个之间的一一对应关系，所示的情况一样。然而，它是可能的，原则上，变形之间的任何两个给定的虚拟对象，无论其顶点是否完全一致，虽然没有独特的原则方法，这样做^17,18。

图6。利用主成分，以创建平滑的形状变化。 （A）胚胎。这种胚胎代表400胚胎（从类别K和L在每200的算术平均图3）。主成分，计算在步骤4.3中所描述。需要注意的是主成分代表相互独立的，抽象的形状尺寸的400个胚胎（图中未示出^）25,26。 400胚胎产生399非零主要的组件^25,26，合计占所有的变异，或形状信息，共同的胚胎。按照惯例，主成分被布置在递减的顺序，它们的特征值，或他们解释^25,26总体方差的比例。在这种情况下，前两个主成分分别占73％和19％，可在400胚胎的形状信息（B）表示的主成分1的不同的权重（或更精确地，加权特征值）的胚。不同的权重，从+2（最左）到-2（右一）在平等的步骤-0.2。（C）的胚胎，代表了不同的权重主要COMPONENT 2。的权重也各不相同从+2（左一）到-2（右一）等步骤-0.2。注意，操纵主成分不专门处理任何给定的特定身体部位的胚胎（ 例如 ，翅膀的胚胎的情况下）。然而，如果必要，身体部分的虚拟3-D物体可以在任意的用户定义的方式，使用大多数的市售的3-D建模环境（图中未示出）操纵。

图7。创建触觉对象。虚拟3-D对象可以被印有“触觉对象使用标准，市售的3-D'打印机”或prototyper的。此图显示的数字呈现为视觉对象（上排）的胚胎或相应的触觉对象（下排）。触觉对象小号在该图中，印刷hown约6厘米宽（比例尺= 1厘米），虽然对象可以被印在更大或更小的尺寸。

图8。的一个例子的信息片段的模板，在这个例子中，模板有一个与它相关联的阈值0.69。

图9。不知道该对象类是一种新的图像和需要来确定。

讨论

认知科学的研究有用的VM和VP

之前我们已经介绍了有用的VM和VP详细^{L9 ,10,12-14。}简单地说，VM，特别是数字化胚胎的方法，是非常有用的，因为它提供了一个创造新的原则和灵活的方法，但自然的3-D物体^14。同样，VP提供了一个原则性的方法，创造自然类^{9,10,12,13。}这是值得一提的是对象类别所产生的副总裁份额的许多功能与性质，对象类别包括类别的事实，往往是分层的性质，及内和跨类别的功能变化，出现独立的实验者和算法进行分类他们^39。

电流限制及未来发展方向

三个电流限制，我们的协议和方向，为今后的工作中，他们建议尤其值得注意：首先，VM和VP模拟生物过程。虽然，我们表明，作为这些过程的底物，可以使用非生物的虚拟对象，底层的过程仍然是生物动机。然而，自然的对象 - 生物和非生物 - 都经过形状的变化，由于非生物的力量。例如，岩石可能会改变形状，如侵蚀或沉积的地质过程。可能出现的新的类别的岩石等地质过程。它应该是相对简单的将这些进程中可用的形状改变算法的剧目。

我们的协议的第二个主要问题是，其目前的动态形状的变化是相当有限的剧目。这是，需要把一个更大的数组的形状发生变化，如生物运动，或由于风力，水力或重力等外力的运动。我们期望它西港岛线l是相对简单的运用自己已知的计算机动画的算法来实现这种动态的形状变化。

我们的协议的第三个主要的限制是VM目前不包括许多其他已知的形态发生过程，其中最值得注意的是，原肠胚形成^36。它也失败，将一些已知的约束，如在植物中的形态发生完全由生长介导，具有很少或没有细胞的运动成为可能的事实，因为细胞壁^36。同样，VP不包括其他已知的系统发育过程，如遗传漂变^40。解决这些限制将有助于极大地促进发展，生态和进化模拟中使用的协议。

材料

Name	Company	Catalog Number	Comments
工具包/设备名称	公司/作者	目录＃	评论
数字胚胎工作坊（DEW）	马克·布雷迪和丹顾		此用户友好的，菜单驱动的工具，可以下载免费下载1 http://www.hegde.us/DigitalEmbryos 。目前仅适用于Windows。
数字胚胎Cygwin的工具	周杰伦赫格德和Karin Hauffen		不那么用户友好的程序，这是一个松散的集合。它们被设计为运行在Cygwin Linux的仿真器，适用于Windows的命令行界面。这些程序可以下载，下载2 http://www.hegde.us / DigitalEmbryos。在Cygwin接口本身可以的负责从www.cygwin.com的免费下载。
Autodesk 3ds Max的，蒙特利尔，魁北克，加拿大	Autodesk媒体与娱乐	3ds Max软件	这是一个3-D建模，动画和渲染工具包与一个灵活的插件体系结构和内置的脚本语言。可提供大多数当前的操作系统。
MATLAB	美国马萨诸塞州Natic​​k郡，Mathworks公司，	MATLAB	这是一个数值计算环境和编程语言有许多有用的附加功能。可提供大多数当前的操作系统。
R统计工具包	统计计算的R项目	ŕ	可免费下载，从http://www.rproject.org /。可提供大多数当前的操作系统。
OpenGL的	Khronos集团	OpenGL的	这种跨语言，跨平台的图形工具包可以的负责从www.opengl.org的免费下载。
V-闪存个人打印机	3D Systems公司，石山，SC，USA	V-闪存	所有的3-D印刷本报告中所描述的应用程序，这是一个很好的价值。的打印材料也被贩卖的3D系统，在开放式源代码的形式从RepRap（rapmanusa.com）和MakerGear的公司较便宜的型号可供选择。更昂贵的机型（> 30 K）都可以从Objet公司的几何结构，3DS系统，Z-CORP，尺寸印刷等。
TurboSquid.com	TurboSquid的公司，纽约，洛杉矶	（不同的对象）	各种虚拟3-D对象可以从这个网站免费下载或​​收取费用。
			表1，表具体的工具包和设备。