计算机应用

作者：刘清华, 廖士中

单位：天津大学 智能与计算学部，天津 300350

关键词：在线学习,素描方法,后悔分析,回归,核方法

基金：国家自然科学基金资助项目(62076181)

在线核回归学习中，每当一个新的样本到来，训练器都需要计算核矩阵的逆矩阵，这个过程的计算复杂度至少为关于回合数的平方级别。提出将素描方法应用于假设的更新，给出一个基于素描方法的更高效的在线核回归算法。首先，将损失函数设定为平方损失，应用Nystr?m近似方法来近似核，并借鉴跟导方法（FTL）的思想，提出一个新的梯度下降算法，称之为FTL-在线核回归（F-OKR）；然后，应用素描方法对其加速，使得F-OKR的计算复杂度降低到关于回合数和素描规模线性、关于数据维度平方的级别；最后，设计了一个高效的素描在线核回归算法（SOKR）。与F-OKR相比，SOKR的精度几乎没有影响，而同时在适当的数据集上，运行时间减少16.7%左右。在理论上证得了两种算法的亚线性后悔界。实验结果也验证了所提算法与Nystr?m在线梯度下降算法（NOGD）相比有更好的表现，平均损失降低约64%。

来源：2022年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第3期