计算机应用

作者：刘睿珩, 叶霞, 岳增营

单位：火箭军工程大学 作战保障学院, 西安 710025

关键词：自然语言处理,预训练模型,深度学习,无监督学习,神经网络

基金：国家自然科学基金资助项目（62006240）。

近年来，深度学习技术得到了快速发展。在自然语言处理（NLP）任务中，随着文本表征技术从词级上升到了文档级，利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先，根据文本特征提取技术的发展，从词级和文档级对典型的模型进行了分析；其次，从预训练目标任务和下游应用两个阶段，分析了当前预训练模型的研究现状，并对代表性的模型特点进行了梳理和归纳；最后，总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

来源：2021年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第5期