稀疏性
指大多数信道系数的能量较小
稀疏性,是指大多数信道系数的能量较小,而几个能量较大的抽头分布相隔较远。
术语解释
光学侦察受到海洋气候和气象条件的限制,海洋环境具有目标稀疏性及机动性的影响。
稀疏性限制
稀疏性可以被简单地解释如下。如果当神经元的输出接近于1的时候我们认为它被激活,而输出接近于0的时候认为它被抑制,那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。这里我们假设的神经元的激活函数是sigmoid函数。如果你使用tanh作为激活函数的话,当神经元输出为-1的时候,我们认为神经元是被抑制的。
令 表示输入为 x 时自编码神经网络隐藏神经元 j 的激活度,可得到
其中 p′ 表示隐藏神经元 j 的平均活跃度,注意,这里是在训练集上求平均。
然后,我们加入一个条件:
其中,p 为稀疏性参数,是一个比较接近于0的值,比如0.05.为了满足这个条件,我们得让大多数隐藏神经元的活跃度接近0.
为什么要让只要少部分中间隐藏神经元的活跃度,也就是输出值大于0,其他的大部分为0.原因就是我们要做的就是模拟我们人脑。神经网络本来就是模型人脑神经元的,深度学习也是。在人脑中有大量的神经元,但是大多数自然图像通过我们视觉进入人脑时,只会刺激到少部分神经元,而大部分神经元都是出于抑制状态的。而且,大多数自然图像,都可以被表示为少量基本元素(面或者线)的叠加。又或者说,这样更加有助于我们用少量的神经元提取出自然图像更加本质的特征。
最新修订时间:2022-08-25 16:59
目录
概述
术语解释
稀疏性限制
参考资料