资源预览内容
第1页 / 共56页
第2页 / 共56页
第3页 / 共56页
第4页 / 共56页
第5页 / 共56页
第6页 / 共56页
第7页 / 共56页
第8页 / 共56页
第9页 / 共56页
第10页 / 共56页
亲,该文档总共56页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
火车头 采集教程火车头采集器使用说明下载地址:http:/www.okyanli.com/forum.php?mod=viewthread&tid=4&extra=下载地址:http:/www.locoy.com/Down/ 我们下载免费版。注意:想用火车,就必须得安装.NET FrameWork 2.0框架或更高版本.net framework 2.0下载地址: 那么,火车我们也下载到本地了,。net框架,我们也安装了。那么,我们把新下载的火车采集软件,解压下。看到一些密密麻麻乱七八糟的东西及文件。那么。上图中,用红线圈住的LocoySpider.exe 是主程序,我们双击打开。ps:这里说下,上图中,有好多任务是我自己用的。新程序,并没有那么多。我们会看到火车的界面,看起来非常复杂,是吧? 呵呵,其实并没有那么复杂,对于新手,有好多东西是用不到的。下边会一一的讲解。我们先补习一下,火车头采集软件的工作原理。因为我们浏览到的网页,最后都是通过html输出的,那么意味着,我们可以查看到html的源码,那么火车头为什么会采集到内容呢?我们看下网站的基本结构。 -这些蓝色的东西,对于新手,我们不需要知道!网页的标题 -红色的是网页的标题。如下图(1)内容 在这个和之间的,是网站的内容部分。如下图(2) -这里是网站的结尾。如果想查看一个网页的html源文件,之需要点击浏览器上的 查看,源文件即可。(1)(2)那么,我们知道了一个网页最基本的架构,那么就好理解火车采集的基本原理了火车采集软件是怎么采集的呢?我们配置好火车头采集规则,什么叫采集规则?就是我们查看网页的源文件,看看整个网页的源码,内容部分的开始标签,和结束标签,这样火车才能知道,我们要采集这个页面的哪个部分,比如下边我们演示的。网页的标题内容我们想要采集“内容”那么就要告诉火车采集器,内容开始标签是,结束标签就是明白了么?呃。估计是我的表达能力不够好。so。我们看下边的实例,在好好巩固下就OK。OK。那么我们开始一步一步教大家设置采集规则。首先第一个。我们的目标站。discuz!x1.5架构的网站。http:/www.yq90.cn/forum-60-1.html我们要把这个版块的内容以及回复都采集到我们的网站上去。首先我们打开火车,新建一个站点。点击火车左上角上的新建按钮,选择新建站点。如下图我们只需要填写站点名就可以,其余的保持默认,然后点击保存按钮!然后。在这个站点下,新建一个任务。选中我们新建的站点,点击鼠标右键,选择第一个,从该站点新建任务。如下图其中1,是任务的名字,必须填写。2,是整个采集任务的步骤向导,3,是文章列表的设置区域(下边讲解),4,和3差不多。5,是登录的地方,有些网址必须登录,我们才可以看到内容,就是这个东西!OK。就这些,那么,我们一步一步的来!首先我们给我们的任务加一个标题。下一步,我们就开始设置列表的采集规则(因为现在火车不知道 http:/www.yq90.cn/forum-60-1.html 这个页面的文章列表是那些,所以我们要告诉火车!)这里有两种方式,新手嘛,我也不知道适合哪种。我们就用默认的吧,第一种我们点击向导添加然后出现下图。其中有4个选项卡,如果我们只采集目标站点的一个文章列表http:/www.yq90.cn/forum-60-1.html,那么我们选中单条网址,直接写上目标的列表网站,如下图!然后点击添加,点击完成就OK。那么,如果我们要采集多个列表。那么我们回到 看下边的图其中1,是目标网站的地址其中2,是火车的通配符(就是某个东西识别的东西)其中3,是间隔数已经补零(下边一一讲解)其中4,数字变化。下边讲解其中5,字母变化。那么。看下图图中在地址栏填写的是 http:/www.yq90.cn/forum-60-(*).html 这个。那么,这是什么意思呢? 我们打开 http:/www.yq90.cn/forum-60-1.html 这个地址,然后点击下一页发现地址变成了 http:/www.yq90.cn/forum-60-2.html 那么我们在点击下一页,就是第三页,发现地址变成了 http:/www.yq90.cn/forum-60-3.html 那么在点击第四页。想必大家也知道变成什么了吧? 那么第一页:http:/www.yq90.cn/forum-60-1.html第二页:http:/www.yq90.cn/forum-60-2.html第三页:http:/www.yq90.cn/forum-60-3.html翻页中,我们发现,只有1在变化。那么我们在火车那里就填写http:/www.yq90.cn/forum-60-(*).html 这个,其中1用火车的通配符(*)替换掉。意思就是,只有1在变化。在看下边其中数字变化,从1到5.意思就是 从地址栏 http:/www.yq90.cn/forum-60-(*).htm获取地址 1到5,就是下边这样的。http:/www.yq90.cn/forum-60-1.htmlhttp:/www.yq90.cn/forum-60-2.html。http:/www.yq90.cn/forum-60-5.html明白了么?其实很简单。那么字母变化,就是 http:/www.yq90.cn/forum-60-a.htmlhttp:/www.yq90.cn/forum-60-b.html。http:/www.yq90.cn/forum-60-z.html因为我们目标地址是数字变化。我们继续看下边间隔倍数,和补零。间隔倍数1是什么意思?40又是什么意思呢?间隔倍数1就是http:/www.yq90.cn/forum-60-1.htmlhttp:/www.yq90.cn/forum-60-2.html。http:/www.yq90.cn/forum-60-5.html间隔倍数40就是http:/www.yq90.cn/forum-60-40.htmlhttp:/www.yq90.cn/forum-60-80.html。http:/www.yq90.cn/forum-60-200.html明白了么?那么我们在看补零,补零就是。http:/www.yq90.cn/forum-60-01.htmlhttp:/www.yq90.cn/forum-60-02.html。http:/www.yq90.cn/forum-60-05.html就是这样。其实很好理解。OK。我们继续。我们填写完成后,点击添加 - 完成。如下图到这里,我们的地址就添加完成了。那么下边,我们来设置区域列表。我们先设置第一个。“文章内容页面地址必须包含。不得包含。”我们随便点开http:/www.yq90.cn/forum-60-1.html 这个网址中的两篇文章,看下URL。就是文章地址。http:/www.yq90.cn/thread-88312-1-1.htmlhttp:/www.yq90.cn/thread-88373-1-1.html发现以上两个地址。那么他们其中只有 http:/www.yq90.cn/thread-88373-1-1.html 红色部分在变动。那么,文章内容必须包含。我们写 http:/www.yq90.cn/thread-(*)-(*)-(*).html 这样就可以,那么我们点击“开始测试网址采集”这个时候,我们点开网站前边的+号发现,其实网址已经采集成功了。其中的并不需要填写。这是为什么呢?因为我们采集的页面 http:/www.yq90.cn/forum-60-1.html 中的文章地址,就是 http:/www.yq90.cn/thread-88373-1-1.html这样的地址,至于为什么要写成http:/www.yq90.cn/thread-(*)-(*)-(*).html这样,是因为其中的http:/www.yq90.cn/thread-88373-1-1.html 红色部分都会变动。或者有可能变动。所以我们加上通配符,所以我们不用填写这个,也可以采集成功。那么,为了让大家更直白的了解火车,我们还是写一下。那么我们打开 http:/www.yq90.cn/forum-60-1.html 这个地址,在页面中,点击右键,选择“查看源文件”(因为不好截图。)发现上边的东西出现,都是一些猥琐的html代码。我们怎么定义文章地址的区域呢?看下图我们复制页面中的“筛选”然后在页面源码中查找下,那么自然,下边的,就是文章地址的区域咯。那么我们在这里,填写什么呢?我们要填写一个“唯一”的东西。就是这个页面独有的一个,并且在文章地址上方的一个代码。如上图。我们选择这段 代码!然后我们复制 这段代码,在我们打开的源文件中,向下查找看,看看有没有相同的。好消息。没有相同了。那么我们在填写 那么这里怎么填写呢?其实一样。我们给下看看源码。我们向上查找下。OK
收藏 下载该资源
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号