面部特征包括特定部位的特征信息和整体的特征信息。

准确的识别面部表情是个体的一项重要社会技能，在人与人的交流中有着重要的作用。面部表情的识别受到了沟通双方多种因素的影响。一方面，从表情发出者的角度来看，面部本身的特征，包括特定部位（如眼睛和嘴部）和整体的特征信息，均会影响面部表情的识别。另一方面，从信息接收者的角度来看，观察者自身的特性（如其所处的情绪状态、内部思维线索等）也会影响面部表情的识别。

人脸特定部位的信息对面部表情识别有重要的影响作用。面部特征点的选取 ，应包含我们需要提取的面部特征点 ，同时这些特征点要能很好地描述出每个表情的变化过程 ，特征点的数量在其标定五官的周围要达到一定密度 ，以达到在表情变化时完整地描述该五官的变化情况。

除了特定部位的特征外，人脸的整体特征也会影响个体对面部表情的识别。整体特征的影响可以表现在多个方面，包括面部结构、人脸的形态和性别等。面部结构是指面孔上各个部位之间的空间关系及布局信息。

面部特征的表示大致可以分为三类：

(1) 第一种是以点来表示面部特征，也就是根据我们对人脸特征的理解定义的一些特征点，比如在 ASM 和 AAM 中，面部特征就是用点来定义的，我们称之为界点（Landmark）。这其中又分为三种界点：(a) 极值点，一般这种界点在一个局部范围内只有唯一的定义，比如眼睛的瞳孔，鼻尖和鼻孔等。(b) 边界点，这种界点在一个局部内的边界上都可以认为是界点，但是考虑相邻界点之间的位置和距离，一般是在整个边缘上均匀的抽取得到，比如人脸轮廓点，眉毛轮廓点，嘴唇轮廓点等。(b) 插值点，这种界点在局部上并没有明显的纹理特征，是通过其他的界点插值推算得到的，比如嘴巴中心点，眉心，还有那些被遮挡或不可见的点等等。

(2) 第二种是用线条或者边界来定义面部特征，比如在可变形模板中就将脸的轮廓定义为一条抛物线，眼珠的边界定义成圆等等。

(3) 第三种是以区域来定义面部特征，比如在一些通过颜色或者是灰度值进行分割的方法中，通过对唇色的统计分割出具有唇色的像素的区域作为嘴巴；眼睛、眉毛等也通过相应颜色和亮度同人脸其他区域的区别进行分割，然后将符合条件的像素组成的区域作为相应的目标区域。

但是不论哪种表示方式，最后都可以归结为两个方面，一个是纹理模型，一个是形状模型。而特征定位的目标就是要在给定待检测的图像上寻找到相应的特征位置和形状，从而使得不同的图像可以根据对应特征的位置和形状达到语义上的对应。

面部特征的定义是在语义上的一种定义，是人类对事物的认知。相对于计算机而言，是一种相对稳定的局部结构和局部纹理模式在图像上的反映。研究者需要为这些局部结构和局部纹理模式建立相应的模型，从而使得计算机在图像中检测和定位到这些模式。我们下面具体介绍这些局部纹理的建模方式。纹理信息，包括颜色、边缘、梯度、提取的各种特征等等。

(1) 颜色模型。最直接、最简单的图像信息就是图像上不同区域的亮度、颜色存在着变化。一般来说，对于人脸图像其普遍存在的特征是眼睛区域的亮度要低于周围区域，眼珠是灰黑色或是蓝色等，嘴唇的颜色也和肤色存在着一定的差别。一些人脸检测和特征定位方法正是利用这些特性来为不同的人脸特征建模。比如 ，首先对眼睛和嘴唇的色彩信息在 色彩空间进行统计和建模，然后根据待测图像上的不同区域的色彩与模型色彩的匹配度得到眼睛和嘴的位置。

(2) 投影模型。通过投影模型或者说是投影函数来定位面部特征点也是早期广泛使用的一种方法，主要用于眼睛的定位。这主要是利用了人脸图像中眼睛区域的灰度分布的特点，也就是眼睛区域的灰度值与周围区域相比较低，眼珠和眼白的灰度差别较大。这类方法的主要特点是在图像的 x 方向和 y 方向分别计算图像投影函数，这个投影函数一般是灰度值的函数，或者是灰度梯度的函数，或者是灰度的方差的函数，亦或是几种的组合等等。

(3) 边缘，梯度模型。边缘和梯度是图像的底层视觉特征，被广泛用于图像分析。

综合特征变换方法和模式分类方法这两方面的因素，使用这种方式进行纹理建模的方法就有很多种组合。所以涌现出了许多用特征变换的方式进行面部特征定位和人脸局部特征纹理建模的方法。

(1) 基于规则的形状模型。最简单的就是基于规则全局形状模型，比如对独立特征点的检测，初始化搜索区域设置在特定的位置上，规定眼睛位于鼻子的上方，鼻子在嘴巴上方以及特定特征点之间距离的比例关系等等的一系列的规则。这样的规则对于一些比较明显的形状约束比较简单有效，但是对于内在的形状统计和约束缺乏形式化上的表达和定量的度量。

(2) 基于平滑性约束的形状模型。主动轮廓模型的内部能量函数包含了轮廓的一阶导数和二阶导数，具体可以表示为 Eint = α|v′| + β|v′′|，其中 α 和 β 是这两项的权重系数。这样在轮廓不平滑的地方，内部能量函数的取值较大，因此在优化的时候轮廓的移动就会按照平滑的方式进行，从而保证了整体形状的平滑性和连续性。

(3) 基于几何图形的形状模型。基于几何图形的形状模型是一种参数化的表示方式，可变形模板 是这类模型中典型的例子。轮廓定义成抛物线，眼珠定义成圆，眼睛定义成椭圆。嘴巴、下巴等，也可以采用类似的几何图形建模。但是，实际的眼睛形状千差万别，固定的几何图形并不能很好地为其建模，而光照、姿态和表情的变化更使得采用这种固定的简单数学模型难以适应这些复杂的变化，因此很难实现鲁棒的特征提取。优化速度慢、容易陷入局部极小也阻止了该算法的进一步发展。

(4) 基于点分布模型的形状模型。ASM 和 AAM都是基于点分布模型（Point Distribution Model, PDM）的算法。在 PDM 中，外形相似的特定类别物体（比如人脸、人手）的形状通过若干关键的特征点（Landmarks）的坐标串接成原始形状向量。对训练集中的所有形状向量进行对齐操作后，对他们进行 PCA 分析建模，保留的主成分形成最终的形状模型，形状模型的参数反映了形状的主要可变化模式。

(5) 基于图模型的形状模型。弹性图匹配 是面部关键特征定位的另一个重要算法，该方法将人脸面部关键特征点的属性及其它们之间的位置关系通过一个属性图进行描述，图的顶点对关键特征点的局部纹理建模（通过 Gabor 特征） ，图的边则反映了特征点之间的距离等位置关系。

1、学习状态的研究

2、疲劳驾驶检测

3、表情识别

4、性别识别