计算机应用

作者：胡婕, 陈晓茜, 张龑

单位：1.湖北大学 计算机与信息工程学院，武汉 430062；2.湖北省教育信息化工程技术研究中心（湖北大学），武汉 430062

关键词：答案选择,预训练模型,池化,特征组合,激活函数

基金：国家自然科学基金资助项目(61977021)

当前主流模型无法充分地表示问答对的语义，未充分考虑问答对主题信息间的联系并且激活函数存在软饱和的问题，而这些会影响模型的整体性能。针对这些问题，提出了一种基于池化和特征组合增强BERT的答案选择模型。首先，在预训练模型BERT的基础上增加对抗样本并引入池化操作来表示问答对的语义；其次，引入主题信息特征组合来加强问答对主题信息间的联系；最后，改进隐藏层的激活函数，并用拼接向量通过隐藏层和分类器完成答案选择任务。在SemEval-2016CQA和SemEval-2017CQA数据集上进行的验证结果表明，所提模型与tBERT模型相比，准确率分别提高了3.1个百分点和2.2个百分点；F1值分别提高了2.0个百分点和3.1个百分点。可见，所提模型在答案选择任务上的综合效果得到了有效提升，准确率和F1值均优于对比模型。

来源：2023年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第2期