计算机应用

作者：孟佳娜, 白晨皓, 赵迪, 王博林, 高临霖

单位：大连民族大学 计算机科学与工程学院，辽宁 大连 116600

关键词：多模态命名实体识别,因果干预,互信息,数据偏差,模态差距

基金：教育部人文社会科学研究规划基金资助项目(23YJA860010);辽宁省2024年度社科规划基金资助项目(L24BTQ002);大连市社科院2024年度调研课题(2024dlsky024)

多模态命名实体识别（MNER）任务旨在从文本和图像的联合数据中识别出具有特定意义的实体；然而，当前的方法在处理数据偏差和模态差距这2个问题时存在不足。数据偏差会导致有害的偏差误导注意力模块关注训练数据中的虚假相关性，从而损害模型的泛化能力；模态差距则会阻碍文本和图像之间建立正确的语义对齐，从而影响模型的性能。为了解决这2个问题，提出一种因果干预下的多模态命名实体识别（CMNER）方法。该方法利用因果干预理论，在文本模态中使用后门干预处理可观测到的混杂因素，在图像模态使用前门因果干预处理不可直接观测到的混杂因素，以此减轻数据偏差带来的有害影响；同时，结合互信息（MI）相关理论，拉近文本和图像之间的语义“距离”。在多模态领域中验证所提方法的实体识别效果，在数据集Twitter-2015和Twitter-2017上的实验结果表明，CMNER方法的F1分数分别达到了76.00%和88.60%，与次优方法相比分别提高了0.58和0.53个百分点，达到最优水平。可见，CMNER方法可以有效缓解数据偏差和缩小模态差距，进而提升MNER任务的性能。

来源：2025年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第12期