计算机应用

作者：李瀚臣, 张顺香, 朱广丽, 王腾科

单位：1.安徽理工大学 计算机科学与工程学院，安徽 淮南 232001；2.合肥综合性国家科学中心 人工智能研究院，合肥 230088

关键词：谐音新词,新词识别,拼音相似度,平均互信息,邻接熵

基金：国家自然科学基金资助项目(62076006);安徽高校协同创新项目(GXXT-2021-008)

新词识别作为自然语言处理的基础任务之一，为构建中文词典、分析词语情感倾向等提供了支持。然而，目前的新词识别方法没有考虑针对谐音新词的识别，导致谐音新词识别的准确率不高。为了解决这一问题，提出一种基于拼音相似度的中文谐音新词发现方法，引入新旧词拼音比较来提高谐音新词识别的准确率。首先，对文本进行预处理，计算平均互信息（AMI）以判定候选词的内部结合度，并使用改进邻接熵确定候选新词的边界；然后，将保留下的词转换成发音相近的汉语拼音与中文词典中的旧词拼音进行相似度比较，并保留最相似的比较结果；最后，若比较结果超过阈值，则将结果中的新词作为谐音新词，对应的旧词即为谐音新词的原有词。在自建的微博数据集上的实验结果表明，与BNshCNs（Blended Numeric and symbolic homophony Chinese Neologisms）、依存句法与语义信息结合的相似性计算模型（DSSCNN）相比，所提方法的准确率、召回率和F1分数分别提高了0.51和5.27个百分点、2.91和6.31个百分点以及1.75和5.81个百分点。可见所提方法具有更好的中文谐音新词识别效果。

来源：2023年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第9期