火车采集器怎么用

作为同时使用八爪鱼采集器和写爬虫的非技术的莫名其妙喜欢自己琢磨技术的互联网运营喵。。。我来谈谈心得感想。

八爪鱼有一些优势，比如学习成本低，可视化流程，快速搭建采集系统。能直接导出excel文件和导出到数据库中。降低采集成本，云采集提供10个节点，也能省事不少。

不好的地方就是，即使看似很简单了，而且还有更傻瓜化的smart模式，但是里面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写，不过说实话心得太多，还没仔细整理。

首先里面的循环都是xpath元素定位，如果用单纯的傻瓜化点击定位的话，很死板，大批量采集页面的时候很容易出错。另外用这个工具的，因为方便，小白太多，成天有人问普通问题，他们都不会看页面结构，也不懂xpath，很容易出现采集不全，无限翻页等问题。

但是八爪鱼采集器的ajax加载，模拟手机页面，过滤广告，滚动至页面底端等功能堪称神器，一个勾选就能搞定。写代码很麻烦的，实现这些功能费劲。

八爪鱼毕竟只是工具，自由度肯定完败编程。胜在方便，快速，低成本。

八爪鱼判断语录较弱，无法进行复杂判断，也无法执行复杂逻辑。还有就是八爪鱼只有企业版才能解决验证码问题，一般版本无法接入打码平台。

还有一点就是没有ocr功能，58同城和赶集网采集的电话号码都是图片格式，python可以用开源图像识别库解决，对接进去识别便可。

除非对技术有很高要求，否则我觉得八爪鱼采集器很好用，比火车采集器好用，虽然效率没那么高，但是比起费劲学习和研究数据包，还是用这个省事。我没事也会在八爪鱼群里解答一些规则编制的问题。

作者：极客兔子

来源：知乎

火车采集器（LocoySpider） 是一个供各大主流文章系统，论坛系统等使用的多线程内容采集发布程序。使用火车采集器，你可以瞬间建立一个拥有庞大内容的网站。系统支持远程图片下载，图片批量水印，Flash下载，下载文件地址探测，自制作发表的cms模块参数，自定义发表的内容等。此外，丰富的规则制定，内容替换功能，对Access,Mysql,MSsql的数据入库导出的支持，更可令你采集内容的时候得心应手，现在开始你可以抛弃过去重复乏味的手工添加工作了，请马上开始体验瞬间建站的乐趣吧！

火车采集器（LocoySpider）是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车采集器，系统自带的模块文件支持：风讯文章，动易文章，动网论坛，PHPWIND论坛，Discuz论坛，phpcms文章，phparticle文章，LeadBBS论坛，魔力论坛，Dedecms文章，Xydw文章，惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能，利用系统内置标签，将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。

LocoySpider采用Visual C#编写，可独立在Windows2003下运行，如您在Windows2000、Xp等环境下使用，请先到微软官方下载一个.net framework1.1或更高环境组件。

火车头采集器采集信息分两个步骤：

1，采网址。这一步也是就告诉软件，有多少个网页需要去采，并给出具体的网页地址。

2，采内容。有了网址之后，就可以去这个网址上采集信息了，但网页上信息众多，软件不知道你想采哪些。在采内容部分，就要做规则了。告诉软件我想采什么。

1，采网址。

网页上的产品信息就是所想采的，即为目标。

在采集链接页面里，输入采集地址的列表页，这里要注意无用链接的过滤。

然后点击测试按钮测试所填信息的正确性：

测试正确以后，我们对地址进行扩展，现在我们只不过是采了一张列表页的文章地址，还有其它的列表要需要采集，其它的列表页就在它的分页上，我们观察这些分布的链接形式，找出规律，然后批量填入网址规则。

2，内容的采集

经过上面的处理，目标产品页的链接都已经能够采到，下面我们进入内容的采集。

明确好要采集的内容以后，我们开始编写采集规则，火车头采集内容是采集网页的源代码，因此我们要打开产品页的源代码，找到我们要采集信息所在的位置。比如，Description字段的采集：

找到Description的位置，找到之后，如何填写采集规则呢，很简单，只要将采集目标的开始字符串与结束字符串填入采集的对应位置。这里我们选取<span>Description:</span>；作为开始字符串，</span>；为结束字符串。值得注意的是，开始字符串必须在本页面是唯一的，并且在其它产品页面也存在这个字符串。本页面唯一能使软件找到要采集的位置，其它页面通用，保证软件能够采到其它页面的数据。

填完以后并不表示就能采集正确了，还需测试一下，排除一些无用数据，排除可在HTML标签排除和内容排除中进行。测试成功后，这样一个标签就制作好了。

这里我们使用通配符来实现这一要求。我们把不通用的地方用（*）通配符来表示任意。而要采集的地址我们用参数（变量）来表示。最后我们将这段内容变为：<li id="current">(*)Compare Prices(*)<a href="[参数]" onClick="(*)">Product Details，填入模块，并测试是否成功。

如果测试没有成功，那说明你填入的内容还不符合唯一且通用的标准，还需要调试。测试成功以后，可以保存，进入标签的制作了。

这里的标签制作与上面的是一样的，找到要采集信息的所在地，填入开始结束字符串，并做好过滤，唯一的不同的在于所属页面选项里要选择刚才制作好的模块，这里就不赘述，直接显示结果了。

这样标签就制作完成了。点击更新以后，去掉发布选项，就可以进行任务的采集了。