计算机应用

作者：王菲, 陶冶, 刘家旺, 李伟, 秦修功, 张宁

单位：1.青岛科技大学 信息科学技术学院，山东 青岛 266061；2.中国电信研究院 大数据与人工智能研究所，北京 102209；3.北京机械工业自动化研究所有限公司，北京 100120；4.青岛海施物联科技有限公司，山东 青岛 266061

关键词：智能家庭,设备说明文档,行为日志,知识图谱,多模态融合,知识抽取

基金：国家重点研发计划项目(2023YFF0612102);青岛市关键技术研发及产业化示范项目(24-1-2-qljh-19-gx)

智慧家庭领域的发展依赖于构建丰富的时空知识图谱支撑下游任务的设计与执行。然而，构建智慧家庭空间的时空知识图谱面临数据源多样、数据质量低以及规模有限等挑战。因此，提出一种融合说明文档相对位置信息与用户行为日志的双模态知识提取框架来充分挖掘设备说明文档和用户行为日志中的多模态信息，从而高效地实现知识提取与图谱构建。该框架包括两部分：首先，提出一个基于相对位置布局匹配（RPLM）的方法，以利用说明文档的相对位置特性来对设备说明文档中的图像和文本进行关联匹配，同时设计说明文档的本体模型，并与大语言模型（LLM）融合，提取结构化信息并构建说明文档知识图谱；其次，设计功能关联分析（FCA）算法和设备使用行为处理（DUBP）算法，从用户行为日志中提取功能关联的设备信息并构建家庭空间的时空知识图谱。选取LayoutLMv3、ERNIE-Layout和GeoLayoutLM等作为基准模型，并在一个自建中文说明文档布局分析（CMDLA）数据集和合成的用户行为日志数据集以及3个公开文档分析数据集上进行验证。结果表明，所提框架在家庭领域数据集上的知识提取准确性和效率上优于基线方法，准确率达到96.39%，比次优方法GeoLayoutLM提高了0.97个百分点，在异构数据融合与时空建模任务中表现出显著优势。

来源：2026年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2026年第1期