径向基函数核
核函数
径向基函数核(Radial Basis Function, RBF kernel),也被称为高斯核(Gaussian kernel)或平方指数核(Squared Exponential., SE kernel),是常见的核函数(kernel function)。RBF核被应用各类核学习(kernel learning)算法中,包括支持向量机(Support Vector Machine, SVM)、高斯过程回归(Gaussian Process Regression, GPR)等。
定义
关于两个样本x和x'的RBF核可表示为某个输入空间(input space)的特征向量,它的定义如下所示:
可以看做两个特征向量之间的平方欧几里得距离。 是一个自由参数。一种等价但更为简单的定义是设一个新的参数 ,其表达式为 :
因为RBF核函数的值随距离减小,并介于0(极限)和1(当x=x'的时候)之间,所以它是一种现成的相似性度量表示法。核的特征空间有无穷多的维数;例如时,其展开式为:
近似
因为支持向量机和其他模型使用了核技巧,它在处理输入空间中大量的训练样本或含有大量特征的样本的时表现不是很好。所以,2016年已经设计出了多种RBF核(或相似的其他核)的近似方法。典型的情况下,这些方法使用z(x)的形式,也就是用一个函数对一个与其他向量(例如支持向量机中的支持向量)无关的单向量进行变换,例如:
其中 是RBF核中植入的隐式映射
一种建构这样的z函数的方法,是对核函数作傅里叶变换,然后从中随机抽出所需函数。
参考资料
最新修订时间:2022-08-25 16:48
目录
概述
定义
近似
参考资料