计算机应用

作者：江静, 陈渝, 孙界平, 琚生根

单位：1.四川大学 计算机学院，成都 610065；2.四川民族学院 理工学院，四川 康定 626001

关键词：文本分类,后验概率校准,预训练语言模型,负例监督,深度学习

基金：国家自然科学基金资助项目(61972270);四川省重点研发项目(2019YFG0521)

用于文本表示的预训练语言模型在各种文本分类任务上实现了较高的准确率，但仍然存在以下问题：一方面，预训练语言模型在计算出所有类别的后验概率后选择后验概率最大的类别作为其最终分类结果，然而在很多场景下，后验概率的质量能比分类结果提供更多的可靠信息；另一方面，预训练语言模型的分类器在为语义相似的文本分配不同标签时会出现性能下降的情况。针对上述两个问题，提出一种后验概率校准结合负例监督的模型PosCal-negative。该模型端到端地在训练过程中动态地对预测概率和经验后验概率之间的差异进行惩罚，并在训练过程中利用带有不同标签的文本来实现对编码器的负例监督，从而为每个类别生成不同的特征向量表示。实验结果表明：PosCal-negative模型在两个中文母婴护理文本分类数据集MATINF-C-AGE和MATINF-C-TOPIC的分类准确率分别达到了91.55%和69.19%，相比ERNIE模型分别提高了1.13个百分点和2.53个百分点。

来源：2022年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第6期