毕业设计网络爬虫.docx

毕业设计网络爬虫篇一:网络爬虫的设计与实现毕业设计(论文)说明书学院软件学院专业软件工程年级姓名张凤龙指导教师陈锦言 XX年3月6日毕业设计(论文)任务书题目:网络爬虫设计与实现学生姓名张凤龙学院名称软件学院专业软件工程学号指导教师陈锦言职称讲师一、原始依据(包括设计或论文的工作基础、研究条件、应用环境、工作目的等。) 互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。所以需要一个能基于主题搜索的满足特定需求的网络爬虫。为了解决上述问题,参照成功的网络爬虫模式,对网络爬虫进行研究,从而能够为网络爬虫实现更深入的主题相关性,提供满足特定搜索需求的网络爬虫。二、参考文献[1]:网络蜘蛛[M].北京:人民邮电出版社,XX年. [2]-ScaleHypertextualWebSearchEngine[M].北京:清华大学出版社,1998年. [3][M].北京:中国电力出版社,XX年. [4]-IP协议详解卷3:TCP事务协议,HTTP,NNTP和UNIX域协议[M].北京:机械工业出版社,XX年1月.[5][M].北京:清华大学出版社,XX年10月. [6]李晓明,闫宏飞,:原理、技术与系统——华夏英才基金学术文库[M].北京:科学出版社,XX年04月. 三、设计(研究)内容和要求(包括设计或研究内容、主要指标与技术参数,并根据课题性质对学生提出具体要求。) 本课题的主要目的是设计面向主题的网络爬虫程序,同时需要满足的是具有一定的性能,要考虑到网络爬虫的各种需求。网络爬虫应用宽度搜索技术。对url进行分析,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。网络爬虫要实现对特定主题的爬取。网络爬虫还要完成信息提取任务,对于抓取回来的网页提取出来:新闻、电子图书、行业信息等。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。研究网络爬虫的原理并实现爬虫的相关功能。最终实现的网络爬虫应该能根据设定的主题,从设定的url进行一定深度的搜索,并最终得到需要的数据。指导教师(签字) 年月日审题小组组长(签字) 年月日天津大学本科生毕业设计(论文)开题报告篇二:网络爬虫的设计与实现摘要本课题的主要目的是设计面向定向网站的网络爬虫程序,同时需要满足不同的性能要求,详细涉及到定向网络爬虫的各个细节与应用环节。搜索引擎作为一个辅助人们检索信息的工具。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义。网络爬虫应用智能自构造技术,随着不同主题的网站,可以自动分析构造URL,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。为了适应不同需求,使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能,并将爬去的数据清洗之后存入数据库,后期可视化显示。关键词:网络爬虫,定向爬取,多线程,Mongodb ABSTRACT Themainpurposeofthisprojectistodesignsubject-orientedwebcrawlerprocess,whichrequiretomeetdifferentperformanceandrelatedtothevariousdetailsofthetargetedwebcrawlerandapplicationindetail. ,,andtheresultsreturnedbygeneralsearchenginescontainalargenumberofwebpages