计算机应用

作者：王春雷, 王肖, 刘凯

单位：1.上海大学 人工智能研究院, 上海 200444；2.上海人工智能实验室, 上海 200232；3.上海大学 计算机工程与科学学院, 上海 200444

关键词：多模态知识图谱,表示学习,多模态融合,知识图谱补全,多模态生成

基金：国家杰出青年科学基金资助项目(62225308)

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后，发现传统的单一模态知识图谱无法很好地表示知识。因此，如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时，详细分析了常用的多模态知识图谱数据集，为相关研究人员提供数据支持。在此基础上，进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型，并对其中各种模型进行了总结和比较。最后，总结了多模态知识图谱表示学习如何改善经典应用，包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果，并对未来的研究工作进行了展望。

来源：2024年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第1期