网页抓取工具必看的文章采集实例

2017-01-09 11:32:11 浏览:16948


    在日常工作和学习中,对一些有价值的文章进行采集可以帮助我们提高对信息的利用率和整合率,对于新闻、学术论文等类型的电子文章,我们可以采用网页抓取工具进行采集,这类采集相对一些数字化的非规律性的数据还是较为容易的,这里以网页抓取工具火车采集器V9为例,讲解一个文章采集的实例以供大家学习。 

熟悉火车采集器的朋友都知道,通过官网的FAQ可以检索采集过程中遇到的问题,那么这里我们就以采集faq为例来说明网页抓取工具采集的原理和过程。

本例以 http://faq.locoy.com/qc-12.html 演示地址。

1)新建个采集规则
选择一个分组上右击,选择“新建任务”,如下图:

图片1.png 

2)添加起始网址
在这里假设我们需要采集 5页数据。

分析网址变量规律
第一页地址:http://faq.locoy.com/qc-12.html?p=1

第二页地址:http://faq.locoy.com/qc-12.html?p=2

第三页地址:http://faq.locoy.com/qc-12.html?p=3

由此我们可以推算出p=后的数字就是分页的意思,我们用[地址参数]表示:

所以设置如下:

图片2.png 

地址格式:把变化的分页数字用[地址参数]表示。

数字变化:从1开始,即第一页;每次递增1,即每次分页的变化规律数字; 共5项,即一共采集5页。

预览:采集器会按照上面设置的生成一部分网址,让你来判读添加的是否正确。

然后确定即可

3)[常规模式]获取内容网址
常规模式:该模式默认抓取一级地址,即从起始页源代码中获取到内容页A链接。

在这里给大家演示用 自动获取地址链接 +设置区域 的 方式来获取。

查看页面源代码找到文章地址所在的区域:

图片3.png 

设置如下:

注:更详细的分析说明可以参考本手册:

操作指南 > 软件操作 > 网址采集规则 > 获取内容网址

图片4.png 

点击网址采集测试,看看测试效果

图片5.png 

3)内容采集网址
http://faq.locoy.com/q-1184.html 为例讲解标签采集

注:更详细的分析说明可以参考本手册

操作指南 > 软件操作 > 内容采集规则 > 标签编辑

我们首先查看它的页面源代码,找到我们“标题”所在位置的代码:

<title>导入Excle是跳出对话框~打开Excle出错 - 火车采集器帮助中心</title>

分析得出: 开头字符串为:<title>
结尾字符串为:</title>
数据处理——内容替换/排除:需要把- 火车采集器帮助中心 给替换为空

 

内容标签的设置原理也是类似的,找到内容所在源码中的位置

图片7.png 

分析得出: 开头字符串为:<div id="cmsContent">
结尾字符串为:</div>
数据处理——HTML标签排除:把不需要的A链接等 过滤

图片8.png 

再设置个“来源”字段

图片9.png 

    这样一个简单的文章采集规则就做好了,不知道网友们学会了没有呢,网页抓取工具顾名思义是适用于网页上的数据抓取,从上面的例子大家也可以看出,这类软件主要是通过源代码分析才解析数据的。这里还有一些情况是没有列出的,比如登录采集,使用代理采集等,如果对网页抓取工具感兴趣的可以登录采集器官网自行学习一下。

扫码关注微信