伴随着以提倡个性化为主的“web2.0”概念的兴起，UGC让我们从下载为主的网络时代演变为下载和上传并重的交互时代。这意味着互联网的信息量变得更加丰富了，所带来的数量增长也是我们难以预估的，面对海量、丰富的“大数据”，国内外都衍生出了网页抓取工具这一经典利器。

首先让我们将视线投向国外，熟悉互联网和大数据领域的朋友一定对import.io有所耳闻了，因获得种子加A轮共计一千多万美金的融资而引起国内人士的关注。Import.io的与众不同在于用户只需在想要抓取数据的网站上进行几次简单的点击操作，就可根据你的操作推算出你想要抓取的数据，进而创建一个与这些数据的实时连接，接下来你只需选择想要的导出形式，就可以获得一份指定内容、实时更新的数据了。

听起来确实很有魔力，也恰如其对产品的命名一样“magic”。感兴趣的朋友可以体验一下，但是需要注意的是，import.io比较适用于一些列表类的数据，像是微博，店铺网页这些类型往往并不适用，因为它抓取的字段并非全部字段，而是基于一种特殊的选择性推算，所以用户需要根据需求去选择使用。

那么国内最经典的网页抓取工具，想必你们都已经想到了，当属行业资历最深的火车采集器。它研发于2005年，目前已经拥有四十多万免费用户，与Import.io不同，火车采集器更注重精确性，它需要得到用户的明确指令也就是采集规则，之后再去执行操作，因此能够适用的网页类型会更多，甚至全网通用。

因为火车采集器的操作原理是web结构的源代码提取，所以只要是网页上能够看到的内容，无论以何种排布形式展现都可以被快速提取出来。并且最终抓取的数据支持导入到任一目标数据库中，或者导出为想要的格式。在网页抓取的过程中，还可以选择不同的线程数来控制火车采集器采集的速度快慢。总体上来说，火车采集器适用于对抓取需求很明确，对速度有要求，对完整性要求也较高的用户。

在程序员们惊为天人的高智商开发下，对网页信息数据的抓取已经不再让我们感到抓狂。市面上现在还有许多其他新兴的或是仿写的网页抓取工具，但真正值得用户称赞的才是最好的，因此在这里就不一一列举了。相比国外的import.io，中国本土的网页抓取工具火车采集器研发的更早，功能上也毫不逊色，看来国内的大数据技术发展未来值得我们拭目以待！