国内刊号:51-1307/TP
国际刊号:1001-9081
发布日期:
作者:马灿, 黄瑞章, 任丽娜, 白瑞娜, 伍瑶瑶
单位:1.文本计算与认知智能教育部工程研究中心(贵州大学),贵阳 550025;2.贵州大学 计算机科学与技术学院,贵阳 550025;3.贵州轻工职业技术学院 信息工程系,贵阳 550025
关键词:中文拼写纠错,大语言模型,模型集成,模型微调,提示学习
基金:国家自然科学基金资助项目(62066007);贵州省科技支撑计划项目(2022277)
中文拼写纠错(CSC)是自然语言处理(NLP)中的一项重要研究任务,现有的基于大语言模型(LLM)的CSC方法由于LLM的生成机制,会生成和原文存在语义偏差的纠错结果。因此,提出基于LLM的多输入CSC方法。该方法包含多输入候选集合构建和LLM纠错两阶段:第一阶段将多个小模型的纠错结果构建为多输入候选集合;第二阶段使用LoRA(Low-Rank Adaptation)对LLM进行微调,即借助LLM的推理能力,在多输入候选集合中预测出没有拼写错误的句子作为最终的纠错结果。在公开数据集SIGHAN13、SIGHAN14、SIGHAN15和修正后的SIGHAN15上的实验结果表明,相较于使用LLM直接生成纠错结果的方法Prompt-GEN-1,所提方法的纠错F1值分别提升了9.6、24.9、27.9和34.2个百分点,相较于表现次优的纠错小模型,所提方法的纠错F1值分别提升了1.0、1.1、0.4和2.4个百分点,验证了所提方法能提升CSC任务的效果。
来源:2025年第3期
《计算机应用》期刊编辑部