计算机应用

作者：温超东, 曾诚, 任俊伟, 张

单位：1. 湖北大学 计算机与信息工程学院, 武汉 430062;2. 湖北省软件工程工程技术研究中心, 武汉 430062;3. 湖北省智慧政务与人工智能应用工程研究中心, 武汉 430062

关键词：专利文本,文本分类,ALBERT,双向门控循环单元,词向量

基金：国家自然科学基金面上项目（61977021）；国家自然科学基金青年科学基金资助项目（61902114）；2019年湖北省技术创新专项（2019ACA144）。

随着专利申请数量的快速增长，对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量（GloVe）等方式获取文本的词向量表示，舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题，提出了一种结合ALBERT和双向门控循环单元（BiGRU）的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2vec等方式训练的静态词向量，提升了词向量的表征能力；并使用BiGRU神经网络模型进行训练，最大限度保留了专利文本中长距离词之间的语义关联。在国家信息中心公布的专利数据集上进行有效性验证，与Word2vec-BiGRU和GloVe-BiGRU相比，ALBERT-BiGRU的准确率在专利文本的部级别分别提高了9.1个百分点和10.9个百分点，在大类级别分别提高了9.5个百分点和11.2个百分点。实验结果表明，ALBERT-BiGRU能有效提升不同层级专利文本的分类效果。

来源：2021年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第2期