爬虫资讯系统介绍

发布者:jgxy发布时间:2020-12-30浏览次数:37


    爬虫资讯系统是中联国创国际商贸研究院团队成员研发的智能搜索处理科研成果,为发挥软件的使用价值,现分享给需要的老师和同学,以下是本系统的简要介绍:

当前互联网上可用的数据信息几乎涵盖了人类活动的每一个方面,并以非常快的速度在增加。这使得在互联网近乎无限的资源中很难准确、有效地检索到用户所需要的信息。本系统根据目标数据源智能爬取数据信息,并对爬取内容进行过滤和清洗,为用户搜索想要获取的信息。通过此系统可以帮助想要了解非洲资讯的人员更快、更精准地查询到相关的资讯信息,促进对非交流和学习。

智能爬虫的主要功能为:(1)为脚本正常运行添加所需要的环境依赖。(2)根据目标站点编写爬虫脚本,并将脚本上传,统一托管到爬虫管理平台。(3)选择需要执行的脚本设定任务,执行后将脚本抓取的信息自动入库。本系统有较强的容错能力和运维效率,为信息检索提供了极大的便利。



网址链接:/index.html

附件:

  1. 爬虫系统操作视频简介

  2. 爬虫任务管理平台操作手册


爬虫系统下载链接: https://cloud.zjnu.edu.cn/share/27e696ca10e10c23c1d8663694


爬虫任务管理平台操作手册.docx