资源预览内容
第1页 / 共11页
第2页 / 共11页
第3页 / 共11页
第4页 / 共11页
第5页 / 共11页
第6页 / 共11页
第7页 / 共11页
第8页 / 共11页
第9页 / 共11页
第10页 / 共11页
亲,该文档总共11页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
-建筑大学课 程 设 计 成 果 报 告题 目: 基于Python的网络爬虫设计课 程: 计算机网络A院 部: 管理工程学院专 业: 信息管理与信息系统班 级:学生:学 号:指导教师:完成日期:. z-目 录1 设计目的12 设计任务容13 网络爬虫程序总体设计14 网络爬虫程序详细设计14.1 设计环境和目标分析14.1.1 设计环境14.1.2目标分析24.2 爬虫运行流程分析24.3控制模块详细设计34.3 爬虫模块详细设计34.3.1 URL管理器设计34.3.2 网页下载器设计34.3.3 网页解析器设计34.4数据输出器详细设计45 调试与测试45.1调试过程中遇到的问题45.2测试数据及结果显示56 课程设计心得与体会57 参考文献68 附录1 网络爬虫程序设计代码69 附录2 网络爬虫爬取的数据文档9. z-1 设计目的本课程设计是信息管理与信息系统专业重要的实践性环节之一,是在学生学习完计算机网络课程后进展的一次全面的综合练习。本课程设计的目的和任务:1稳固和加深学生对计算机网络根本知识的理解和掌握;2培养学生进展对网络规划、管理及配置的能力或加深对网络协议体系构造的理解或提高网络编程能力;3提高学生进展技术总结和撰写说明书的能力。2 设计任务容网络爬虫是从web中发现,下载以及存储容,是搜索引擎的核心局部。传统爬虫从一个或假设干初始网页的URL开场,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停顿条件。参照开放源码分析网络爬虫实现方法,给出设计方案,画出设计流程图。选择自己熟悉的开发环境,实现网络爬虫抓取页面、从而形成构造化数据的根本功能,界面适当美化。给出软件测试结果。3 网络爬虫程序总体设计URL管理器数据输出器网页下载器网页解析器爬虫控制器在本爬虫程序中共有三个模块:1、 爬虫调度端:启动爬虫,停顿爬虫,监视爬虫的运行情况2、 爬虫模块:包含三个小模块,URL管理器、网页下载器、网页解析器。(1) URL管理器:对需要爬取的URL和已经爬取过的URL进展管理,可以从URL管理器中取出一个待爬取的URL,传递给网页下载器。(2) 网页下载器:网页下载器将URL指定的网页下载下来,存储成一个字符串,传递给网页解析器。(3) 网页解析器:网页解析器解析传递的字符串,解析器不仅可以解析出需要爬取的数据,而且还可以解析出每一个网页指向其他网页的URL,这些URL被解析出来会补充进URL管理器3、数据输出模块:存储爬取的数据4 网络爬虫程序详细设计4.1 设计环境和目标分析4.1.1 设计环境IDE:pycharm4.1.2目标分析目标:从百度词条Python开场,以广度优先的方式,爬取相关联的假设干词条网页的标题和简介1初始URL:baike.baidu./item/Pythonsefr=ps2词条页面URL格式:baike.baidu./item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6(3) 数据格式:标题Python简介4页面编码:utf-84.2 爬虫运行流程分析爬虫程序的运行流程如下图。(1) 爬虫控制器从给定的URL开场,将给定的初始URL添加到URL管理器中,然后调用URL管理器的相关方法,判断是否有待爬取的URL(2) URL判断是否有待爬取的URL,如果有待爬取的URL,则返回给控制器,控制器将这个URL传递给网页下载器,下载该网页(3) 网页下载器将下载好的数据返回给控制器,控制器再将返回的数据传递给网页解析器解析(4) 网页解析器解析网页之后获取网页数据和网页的URL,再将这两个数据传递给控制器(5) 控制器得到解析出来的数据之后,将新的URL传递给URL管理器,将价值数据传递给数据输出器输出(6) 数据输出器以文本的形式输出传递进来的数据。(7) 回到第一步,循环4.3控制模块详细设计爬虫控制器主要负责调度各个模块,所以在设计的时候只需要一次调用其他模块的方法,给对应的模块传递数据即可。比拟简单,可参见附录1查看源码。4.3 爬虫模块详细设计4.3.1 URL管理器设计URL管理器主要管理待抓取的URL集合和已抓取的URL集合。URL管理器设计的难点在于:防止重复抓取,防止循环抓取。判断是否还有待爬取URL添加新URL到待爬取集合中获取待爬取URLURL管理器将URL从待爬取集合移动端已爬取集合判断待添加URL是否在容器中常用的URL管理器存储方式有三种,一是使用python存即set集合来存储URL,二是使用数据库,例如MySQL,三是使用缓存数据库,例如redis。因为这只是个简单的python爬虫,所以我们选择利用存存储URL。建立两个集合,一个为待爬取集合,一个为已爬取集合,功能上图所示。4.3.2 网页下载器设计网页下载器是将互联网上URL对应的网页下载到本地的工具。Python常用的网页下载器有两种,一个是python自带的urllib2,一个是第三方包requests。这里我们选用的是urllib2,比拟简单的网页下载工具,其中最简洁的下载网页的代码如下:import urllib2response = urllib2.urlopen(url)* 如果请求码不是200,则表示请求不成功。* 典型的错误包括404页面无法找到,403请求制止,401待验证的请求* 5* 回应代码以5开头的状态码表示效劳器端发现自己出现错误,不能继续执行请求if response.getcode() != 200: print download html failedcont= response.read()4.3.3 网页解析器设计网页解析器是从网页中提取有价值数据的工具。价值数据网页解析器新URL列表HTML网页字符串Python常用的解析器有四种,一是正则表达式,二是html.parser,三是beautifulSoup,四是l*ml。这里我选用的是beautifulSoup作为我的网页解析器,相对于正则表达式来说,使用beautifulSoup来解析网页更为简单。beautifulSoup将网页转化为DOM树来解析,每一个节点是网页的每个标签,通过它提供的方法,你可以很容易的通过每个节点获取你想要的信息。使用方法如下:*创立BeautifulSoup对象soup = BeautifulSoup(html_cont, html.parser, from_encoding=utf-8)*查找所有标签为a的节点,且href匹配正则表达式links = soup.find_all(a, href=re.pile(r/item/%)*查找所欲标签为div的节点summary_node = soup.find(div, class_=lemma-summary)4.4数据输出器详细设计数据输出器是负责数据输出的工具。如果要输出的文件不存在,程序会自动创立,并且每次重写之前都会清空网页的容。这里我选择的输出方式是T*T文档,直接将数据分析器得到的数据存储在output.t*t文件中。5 调试与测试5.1调试过程中遇到的问题(1) 爬取第一个页面之后没有新的页面解决方案:根据子网页,选择适宜的正则表达式1测试过程中*些网页中缺少标题或简介。解决方案:往集合中添加数据的时候,判断一下是否为空,不为空再添加。5.2测试数据及结果显示测试的结果以t*t文档形式显示,生成的文档路径和代码路径一致、6 课程设计心得与体会Python是一门面向对象的解释性语言脚本语言,这一类语言的特点就是不用编译,程序在运行的过程中,由对应的解释器向CPU进展翻译,个人理解就是一边编译一边执行。而Java这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进展断点调试,唯一的方法就是在有疑问的地方打印各个变量的值来进展调试。这一类语言也没用类型,也就是说一个变量即可能是int型,但是也可能是String型,而且可以随时变化。python对于代码格式要求也相当严格,通过对于缩进的距离来判断代码是否处于同一个代码块。Python也不依靠分号来决定一句代码是否完毕,一行代码就是一句代码。这样做的好处在于代码编写看上去很统一,不过习惯了java再看python,一开场还真的有点懵。总得来说,对Python的初涉感觉不错,这门语言相比拟Java更加的简洁,这次的课设是初步接触python,以后会自己深入学习。7 参考文献1钱程,阳小兰,朱福喜等.基于Python的网络爬虫技术J.科技信息,2021,(36):273.2戚利娜,建东.基于Python的简单网络爬虫的实现J.电脑编程技巧与维护,2021,(8):72-73.3 ,Core Python Programming. 2001-9-118 附录1 网络爬虫程序设计代码spiderMain.py* coding:utf-8import loggingfrom webCraler import url_manager, html_downloader, html_outputer, html_parserclass SpiderMain(object): *初始化URL管理器,网页下载器,网页解析器和数据输出器 def _init_(self): self.urls = url_manager.UrlManager() self.downloader = html_downloader.HtmlDownloader() self.parser = html_parser.HtmlParser() self.outputer = html_outputer.HtmlOutputer() *爬取网页 def craw(self, url): count = 1 *向URL管理器添加新的URL self.urls.add_new_url(url) while self.urls.has_new_url(): try: *如果有新的URL,获取这个新的URL new_url = self.urls.get_new_url() *打印这是
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号