计算机应用

作者：杨杰, 尼玛扎西, 仁青东主, 祁晋东, 才让东知

单位：1.西藏大学 信息科学技术学院，拉萨 850000；2.藏文信息技术教育部工程研究中心（西藏大学），拉萨 850000

关键词：藏语信息处理,藏文分词模型,预训练模型,自然语言处理,标记器重构

基金：新一代人工智能国家科技重大专项(2022ZD0116100);省部共建藏语智能信息处理及应用国家重点实验室开放课题项目(2023?Z?006)

针对现有的预训练模型在藏文分词任务中表现不佳的问题，提出一种建立重构标记器规范约束文本，随后重构藏文预训练模型的标记器以进行藏文分词任务的方法。首先，对原始文本进行规范化操作，以解决因语言混用等导致的错误切分的问题；其次，对预训练模型进行音节粒度的标记器重构，使得切分单元与标注单元平行；最后，在利用改进的滑动窗口还原法完成黏着切分后，利用“词首、词中、词尾、孤立”（BMES）四元标注法建立Re-TiBERT-BiLSTM-CRF模型，从而得到藏文分词系统。实验结果表明，重构标记器后的预训练模型在分词任务中明显优于原始预训练模型，而得到的系统拥有较高的藏文分词精确率，F1值最高可达97.15%，能够较好地完成藏文分词任务。

来源：2025年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第4期