计算机应用

作者：刘景发, 顾瑶平, 刘文杰

单位：1. 南京信息工程大学 计算机与软件学院, 南京 210044;2. 广东外语外贸大学 信息科学与技术学院, 广州 510006

关键词：主题爬虫,禁忌搜索,本体,主题相关度,气象灾害

基金：国家社会科学基金重大招标项目（16ZDA047）；江苏省自然科学基金资助项目（BK20181409）；广州市基础与应用基础研究项目。

针对传统主题爬虫方法容易陷入局部最优和主题描述不足的问题，提出一种融合本体和改进禁忌搜索策略（On-ITS）的主题爬虫方法。首先利用本体语义相似度计算主题语义向量，基于超级文本标记语言（HTML）网页文本特征位置加权构建网页文本特征向量，然后采用向量空间模型计算网页的主题相关度。在此基础上，计算锚文本主题相关度以及链接指向网页的PR值，综合分析链接优先度。另外，为了避免爬虫陷入局部最优，设计了基于ITS的主题爬虫，优化爬行队列。以暴雨灾害和台风灾害为主题，在相同的实验环境下，基于On-ITS的主题爬虫方法比对比算法的爬准率最多高58%，最少高8%，其他评价指标也很好。基于On-ITS的主题爬虫方法能有效提高获取领域信息的准确性，抓取更多与主题相关的网页。

来源：2020年第8期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第8期