细胞式类神经网络(Cellular neural network,CNN),一种大量规则化多维度矩阵电路,可执行平行计算,于1988年由
蔡少棠与Lin Yang提出,类似于
神经细胞架构,每个细胞与邻近细胞间彼此连接与传递讯号。
细胞式类神经网络与一般
类神经网络不同,较具特色的两点为:1.细胞中连续性的动态行为与2.有限半径的局部性连接。典型的应用包括影像处理、3D表面分析、问题可视化、生物视觉和其他感官建模。
因为CNN具有多种不同的架构,所以很难替CNN处理器定下一个非常明确的定义。从架构的观点来看,CNN是属于细胞式架构,资料处理是以平行方式计算,因此运算速度可大幅提升。它是由固定数目、固定位置、固定拓普、局部互连、非线性的处理单元所组成,这个非线性的处理单元通常被叫做细胞或是神经元。在数学模型上,每个细胞为独立且非线性的单元,它具有初始状态、输入和行为。讯号的处理通常是连续的,例如Continuous-Time CNN(CT-CNN)处理器,但也可以是离散的Discrete-Time CNN(DT-CNN)处理器。
并行计算(英语:parallel computing)一般是指许多指令得以同时进行的计算模式。在同时进行的前提下,可以将计算的过程分解成小部分,之后以
并发方式来加以解决。
计算机软件可以被分成数个运算步骤来运行。为了解决某个特定问题,软件采用某个算法,以一连串指令运行来完成。传统上,这些指令都被送至单一的
中央处理器,以循序方式运行完成。在这种处理方式下,单一时间中,只有单一指令被运行(processor level: 比较微处理器,CISC, 和RISC,即流水线Pipeline的概念,以及后来在Pipeline基础上以提高指令处理效率为目的的硬件及软件发展,比如branch-prediction, 比如forwarding,比如在每个运算单元前的指令堆栈,汇编程序员对programm code的顺序改写)。并行运算采用了多个运算单元,同时运行,以解决问题。
相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即
流水线技术,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为
数据并行和
任务并行。
数据并行把大的任务化解成若干个相同的子任务,处理起来比
任务并行简单。
空间上的并行导致两类并行机的产生,按照麦克·弗莱因(Michael Flynn)的说法分为
单指令流多数据流(SIMD)和
多指令流多数据流(MIMD),而常用的串行机也称为
单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:
并行向量处理机(PVP)、
对称多处理机(SMP)、
大规模并行处理机(MPP)、
工作站机群(COW)、
分布式共享存储处理机(DSM)。
不像串行计算机那样,全世界基本上都在使用冯·诺伊曼的计算模型;并行计算机没有一个统一的计算模型。不过,人们已经提出了几种有价值的参考模型:
PRAM模型,
BSP模型,
LogP模型,C^3模型等。
人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,在
机器学习和
认知科学领域,是一种模仿
生物神经网络(动物的
中枢神经系统,特别是
大脑)的结构和功能的
数学模型或
计算模型,用于对
函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在
外界信息的基础上改变内部结构,是一种
自适应系统。现代神经网络是一种
非线性统计性数据建模工具。典型的神经网络具有以下三个部分:
神经网络的构筑理念是受到生物(人或其他动物)神经网络功能的运作启发而产生的。
人工神经网络通常是通过一个基于数学统计学类型的学习方法(Learning Method)得以优化,所以人工神经网络也是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,另一方面在人工智能学的人工感知领域,我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法,人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力),这种方法比起正式的逻辑学推理演算更具有优势。
和其他
机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如
机器视觉和
语音识别。这些问题都是很难被传统基于规则的编程所解决的。