计算机应用

作者：阮启铭, 过弋, 郑楠, 王业相

单位：1.华东理工大学 信息科学与工程学院，上海 200237；2.大数据流通与交易技术国家工程实验室-商业智能与可视化技术研究中心，上海 200436；3.上海大数据与互联网受众工程技术研究中心，上海 200072

关键词：海关编码,多任务学习,文本分类,BERT,向量稀疏

基金：上海市科学技术委员会科研计划项目(17DZ1101003)

海关商品申报场景下，需采用分类模型将商品归类为统一的海关（HS）编码。然而现有海关商品分类模型忽略了待分类文本中词语的位置信息，同时HS编码数以万计，会导致类别向量稀疏、模型收敛速度慢等问题。针对上述问题，结合真实业务场景下人工逐层归类策略，充分利用HS编码的层次结构特点，提出了一种基于层级多任务BERT（HM-BERT）的分类模型。一方面通过BERT模型的动态词向量获取了报关商品文本中的位置信息，另一方面利用HS编码不同层级的类别信息对BERT模型进行多任务训练，以提高归类的准确性和收敛性。在国内某报关服务商2019年的报关数据集上进行的所提模型的有效性验证，相比BERT模型，HM-BERT模型的准确率提高了2个百分点，在模型训练速度上也有所提升；与同样分层级的H-fastText相比，准确率提高了7.1个百分点。实验结果表明，HM-BERT模型能有效改善海关报关商品的分类效果。

来源：2022年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第1期