神经网络最早由心理学家和神经生物学家提出，由于神经网络在解决复杂问题时能够提供一种相对简单的方法，因此近年来越来越受到人们的关注。神经网络模型各种各样、 各式各样的模型从不同的角度对生物神经系统进行不同层次的描述和模拟。代表性的网络模型有BP网络、RBF网络、Hopfield网络、自组织特征映射网络等。

神经网络最早由心理学家和神经生物学家提出，由于神经网络在解决复杂问题时能够提供一种相对简单的方法，因此近年来越来越受到人们的关注。神经网络模型各种各样、 各式各样的模型从不同的角度对生物神经系统进行不同层次的描述和模拟。代表性的网络模型有BP网络、RBF网络、Hopfield网络、自组织特征映射网络等。运用这些网络模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。因此， 神经网络广泛应用于人工智能、自动控制、机器人、统计学等领域的信息处理中。

一个经典的神经网络是一个包含三个层次的。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。 如图1所示。

设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；

神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；

结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

除了从左到右的形式表达的结构图，还有一种常见的表达形式是从下到上来表示一个神经网络。这时候，输入层在图的最下方。输出层则在图的最上方，如图2。

BP( back propaga tion) 神经网络通常采用基于BP神经元的多层前向神经网络的结构形式。一个典型的BP网络结构如下图所示。理论证明，具有图1所示结构的BP神经网络, 当隐层神经元数目足够多时, 可以以任意精度逼近任何一个具有有限间断点的非线性函数。

BP神经网络的学习规则, 即权值和阈值的调节规则采用的是误差反向传播算法( BP算法)。BP 算法实际上是W idrow -Hoff算法在多层前向神经网络中的推广。和W idrow- H off算法类似，在BP算法中，网络的权值和阈值通常是沿着网络误差变化的负梯度方向进行调节的，最终使网络误差达到极小值或最小值, 即在这一点误差梯度为零。限于梯度下降算法的固有缺陷，标准的BP学习算法通常具有收敛速度慢、易陷入局部极小值等特点， 因此出现了许多改进算法。其中最常用的有动量法和学习率自适应调整的方法, 从而提高了学习速度并增加了算法的可靠性。

径向基函数(Radial Basis Function, 简称为RBF) 网络是以函数逼近理论为基础而构造的一类前向网络，这类网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面。径向基函数网络的每个隐层神经元激活函数都构成了拟合平面的一个基函数，网络也由此得名。径向基函数网络是一种局部逼近网络，即对于输入空间的某一个局部区域只存在少数的神经元用于决定网络的输出。而BP网络则是典型的全局逼近网络，即对每一个输入/输出数据对，网络的所有参数均要调整。由于二者的构造本质不同，径向基函数网络与BP网络相比规模通常较大，但学习速度较快，并且网络的函数逼近能力、模式识别与分类能力都优于后者 。

一个典型的径向基函数网络包括两层， 即隐层和输出层。图4是一径向基函数网络的结构图。图中所示网络的输入维数为R、隐层神经元个数为S1、输出个数为S2，隐层神经元用高斯函数作为激活函数， 输出层的激活函数为线性函数。

由模式识别理论可知，在低维空间非线性可分的问题总可映射到一个高维空间，使其在此高维空间中为线性可分。在RBF网络中，输入到隐层的映射为非线性的( 隐单元的激活函数是非线性函数)，而隐层到输出则是线性的。可把输出单元部分看作一个单层感知器，这样， 只要合理选择隐单元数(高维空间的维数)及其激活函数，就可以把原来问题映射为一个线性可分问题，从而最后用一个线性单元来解决问题。最常用的径向基函数形式是高斯函数， 它的可调参数有两个，即中心位置及方差( 函数的宽度参数)，用这类函数时整个网络的可调参数(待训练的参数) 有三组， 即各基函数的中心位置、方差和输出单元的权值。

RBF网络具有很好的通用性。已经证明，只要有足够多的隐层神经元，RBF网络能以任意精度近似任何连续函数。更重要的是， RBF网络克服了传统前馈神经网络的很多缺点，其训练速度相当快，并且在训练时不会发生震荡和陷入局部极小。但是，在进行测试时，RBF网络的速度却比较慢，这是由于待判别示例几乎要与每个隐层神经元的中心向量进行比较才能得到结果。虽然可以通过对隐层神经元进行聚类来提高判别速度，但这样就使得训练时间大为增加，从而失去了RBF网络最基本的优势。另外，通过引入非线性优化技术可以在一定程度上提高学习精度，但这同时也带来了一些缺陷，如局部极小、训练时间长等。

BP神经网络和RBF网络都是前馈型神经网络，下面我们研究反馈式神经网络。在反馈式网络中，所有节点(单元)都是一样的， 它们之间可以相互连接， 所以反馈式神经元网络可以用一个无向的完备图来表示。从系统观点来看，反馈网络是一个非线性动力学系统。它必然具有一般非线性动力学系统的许多性质，如稳定问题、各种类型的吸引子以至混沌现象等。在某些情况下， 还有随机性和不可预测性等，因此，比前馈型网络的内容要广阔和丰富的多，提供了人们可以从不同方面来利用这些复杂的性质以完成各种计算功能。

反馈式网络的模型有多种， 这里主要讨论由Hopfield提出的反馈网络。Hopfield网络的基本结构图如图5所示。

由图5可见Hopfield 网络为一层结构的反馈网络，能处理双极型离散数据。当网络经过训练后， 可以认为网络处于等待工作状态，而对网络给定初始输入x 时， 网络就处于特定的初始状态， 由此初始状态开始运行，可以得到当前时刻网络的输出状态。通过网络的反馈作用，可得到下一时刻网络的输入信号；再由这个新的输入信号作用于网络，可得到下一时刻网络的输出状态，将该输出反馈到输入端，又形成新的输入信号，如此不断的循环下去。如果网络是稳定的，那么， 经过多次反馈运行， 网络达到稳态， 即由输出端可得到网络的稳态输出。

反馈网络有两种基本的工作方式：串行异步和并行同步方式。反馈式和前馈型神经网络的比较如下：

(1) 前馈型神经网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应， 只表达输出与输入的映射关系。反馈式神经网络可以用离散变量也可连续取值， 考虑输出与输入之间在时间上的延迟， 因此， 需要用动态方程来描述神经元和系统的数学模型。由于前馈网络中不含反馈连接， 因而为系统分析提供了方便。基本的H opfield网络是一个由非线性元件构成的单层反馈系统， 这种系统稳定状态的分析比较复杂， 给实际应用带来一些困难。

(2) 前馈型网络的学习主要采用误差修正法， 计算过程一般比较慢， 收敛速度也比较慢。而Hopfield 网络的学习主要采用Hebb规则， 一般情况下计算的收敛速度很快。它与电子电路存在明显的对应关系， 使得该网络易于理解和易于用硬件实现。

(3)Hopfield网络也有类似于前馈型网络的应用， 例如用作联想记忆或分类， 而在优化计算方面的应用更加显示出Hopfield 网络的特点。联想记忆和优化计算是对偶的。当用于联想记忆时，通过样本模式的输入给定网络的稳定状态， 经过学习求得突触权重值; 当用于优化计算时， 以目标函数和约束条件建立系统的能量函数确定出突触权重值， 网络演变到稳定状态， 即是优化计算问题的解。

自组织特征映射模型也称为Kohonen网络， 或者称为Self-Organizing Feature Map ( SOFM) ， 由芬兰学者Teuvo Kohonen 于1981年提出。该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络。

Kohonen认为， 处于空间中不同区域的神经元有不同的分工， 当一个神经网络接受外界输入模式时， 将会分为不同的反应区域， 各区域对输入模式具有不同的响应特征。在输出空间中， 这些神经元将形成一张映射图， 映射图中功能相同的神经元靠得较近， 功能不同的神经元分得较开， 自组织特征映射网络也由此而得名。它在模式识别、联想存储、样本分类、优化计算、机器人控制等领域中得到广泛应用。自组织特征映射过程是通过竞争学习完成的。竞争学习是指同一层神经元之间互相竞争， 竞争胜利的神经元修改与其相连的连接权值的过程。竞争学习是一种无监督学习方法， 在学习过程中， 只需向网络提供一些学习样本， 而无需提供理想的目标输出。网络根据输入样本的特性进行自组织映射， 从而对样本进行自动排序和分类。

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向深度学习的基础。神经网络在系统辨识、模式识别、智能控制等领域有着广泛而吸引人的前景。特别在智能控制中，人们对神经网络的自学习功能尤其感兴趣，并且把神经网络这一重要特点看作是解决自动控制中按制器适应能力这个难题的关键钥匙之一。 神经网络的基础在于神经元。神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。 大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。神经网络模型是以神经元的数学模型为基础来拥述的。神经网络模型由网络拓扑、节点特点和学习规则来表示。