常州姜东：火车头采集器使用教程

1、火车头介绍

2、什么是信息采集

3、什么是火车头

4、火车头是干啥的

5、火车头规则定制

6、规则编写流程

7、采网址详解

8、采内容详解

9、注意事项

什么是火车头？

常州姜东：火车头采集器使用教程

我们打开一个网站,看到有一篇文章很不错,于是我们就将文章的标题和内容复制了一下,将这篇文章转到我们的网站上.我们的这个过程,就可以称作一个采集,将别人网站上对自己有用的信息转到自己网站上；互联网上的内容，大多数都是通过复制-修改-黏贴的过程产生的，所以信息采集很重要，也很普遍，我们平台发到网站上的文章，多数也是这样的一个过程；为什么很多人感觉新闻更新很麻烦，因为这个工作是重复的，枯燥乏味的，浪费时间的；

火车头是目前国内使用人数最多、功能最完善、网站程序支持最全面、数据库支持最丰富的软件产品；现在是大数据时代，它可以快速、批量、海量的获取到互联网上的数据，并按照我们需要的格式存储起来；说的简单一点，对我们来说有什么用？我们需要更新新闻，需要发商机，如果让你准备1000篇文章，你要用多久？5个小时？在有规则的情况下，火车头只需要5分钟！前提是有规则，所以我们要先学写规则，写规则如果数量的话，一个规则几分钟就好了，但刚开始学的时候会比较慢；

名称解释与规则编写流程

n以火车头8.6版本为准  第1步：打开—登录  第2步：新建分组

常州姜东：火车头采集器使用教程

第3步：右击分组，新建任务，填写任务名；

常州姜东：火车头采集器使用教程

第4步：写采集网址规则（起始网址和多级网址获取）

常州姜东：火车头采集器使用教程

第5步：写采集内容规则（如标题、内容）

常州姜东：火车头采集器使用教程

第6步：发布内容设置

勾选启用方式二

(1)保存格式：一条记录保存为一个txt;

(2)保存位置自定义;

(3)文件模板不用动;

(4)文件名格式：点右边的倒立笔型选[标签:标题];

(5)文件编码可以先选utf-8，如果测试时数据正常，但保存下来的数据有乱码则选gb2312;

常州姜东：火车头采集器使用教程

第7步：采集设置，都选100；

a.单任务采集内容线程个数：同时可以采集几个网址；

b.采集内容间隔时间毫秒数：两个任务的间隔时间；

c.单任务发布内容线程个数：一次保存多少条数据；

d.发布内容间隔时间毫秒数：两次保存数据的时间间隔；

常州姜东：火车头采集器使用教程

附注：如果网站有防屏蔽采集机制（如数据很多但只能采集一部分下来，或提示多久才能打开一次页面），则适当调小a值和调大b的值；

第8步：保存、勾选并开始任务（如果是同一分组的，可以在分组上批量选中）

常州姜东：火车头采集器使用教程

以前的方式：比如我要准备n篇文章，要先找到这个文章是在哪个网站上的（如是采集同行A还是同行B），是在其哪个栏目下的（如是产品信息还是新闻信息），在这个栏目下有n条信息，我要选哪一条，然后进去后把标题复制下来，把内容复制下来再进到另一个页面把标题内容复制下来，以此类推，然后同样的流程我要执行n遍；

怎么转换：怎么把这个流程转化为软件操作呢？我要准备n篇新闻，这就表明要n个标题+对应的内容，要n个新闻链接，这n个新闻链接是从一个网站的新闻栏目上找的，而这个网站的新闻栏目有可能是很多页，比如10页，这个时候再从同行A的网站—栏目—内页；即先找到要采集的网站，打开这个网站的栏目页（确定好是采集新闻还是产品），写网址规则采集栏目下的所有新闻链接，然后写内容规则采集所有新闻链接中的标题和内容，最后保存下来；

采网址详解-具体操作

找到要采集网址的栏目页，如新闻栏目

复制栏目的第一页链接url，起始网址右侧中点添加，在单条网址中黏贴栏目的第一页链接后点添加，如

用右边的(*)代替，因为第1页已经添加了，还剩9页，这时在等差数列那一行把项数改成9，首项是2（因为第2页的链接是，然后点添加-完成;

常州姜东：火车头采集器使用教程

1、点对应右侧的添加，然后如下图所示是示例，右侧大图是说明；

常州姜东：火车头采集器使用教程

2、点击保存后点右下角的

看看是否能采集到新闻网址，

如果能采集到则正确，双击一个新闻网址进到下一步；如果采集到的不正确，返回修改直到成功；网址过滤可以自己观察其对应的规律；

常州姜东：火车头采集器使用教程

1、到采集内容规则这里后，把作者、时间、出处都选中后删掉，如右面第一张图，因为这些标签正常情况下都用不到；

2、选中标题标签点修改，或直接双击该标签，进入编辑界面；

常州姜东：火车头采集器使用教程

3、进入后标签名的“标题”别改，改过后是要改对应的模板的；

4、下面的数据提取方式：前后截取和开始结束字符串，也尽量用默认的，在不熟练的情况下不要改；

5、点击下面数据处理的添加—内容替换，如右图；

6、内容替换将标题后面的都替换为空，如果不替换的话采集的是页面title，这时需要打开两个新闻页面，看看这两个新闻页面的公共部分是什么，把公共部分替换掉

例：如下面两个标题，“ - 顶尖SEO团队”是公共部分，即把其替换为“空”；

【图文】你知道螺旋加料机的加工方法吗 螺旋加料机原理你了解吗

【图文】气动式加料机的优点是什么 你知道粉末加料机工作原理吗

常州姜东：火车头采集器使用教程

例：如下面的则需要把“-健康网”替换成“空”；

例：如下面的则需要把“-健康网”替换成“空”；

我喜欢吃西瓜-健康网

苹果好吃吗？-健康网

1、选中内容点编辑，或直接双击进入到内容标签编辑界面，标签名千万别改；

2、写开始和结束字符串，就是找能把所有新闻都包裹起来的，在所有新在所有新闻页面中都是闻页面中都有的，且是唯一的一段字符串；即这个页面模板中的唯一代码串；

常州姜东：火车头采集器使用教程

举例：采集内容的时候，需要选择内容区域，因为要采集的可能是n篇，如100篇，这个时候就需要想法怎么能写一个采集到全部的，方法就是打开两个新闻链接如，查看第一篇新闻的源文件，找到新闻正文，然后向上找离新闻第一句话最近的，在这个页面中是唯一的一段代码（如果不唯一，软件能知道从第几个开始吗？），但又不是新闻中的内容，如，复制后在第二篇新闻页面源文件中搜一下看看有没有，如果有，则可采用；同理找到新闻最后一句话，向下找离其最近的页面中唯一的一段代码，复制后在第二篇新闻页面源文件中搜一下看看有没有，如果有，则可采用；数据处理：因为采集的是其他网站的信息，里面有可能有其他网站的资料，如公司名、联系方式、品牌等信息，也可能有其他网站的超链接等信息，这个时候就需要对信息进行过滤处理；数据处理—添加—下面对应的参数HTML标签过滤：滚动轴横向拉到最后，在所有标签前面打钩后点确定；内容替换：将这个网站的信息替换成自己的，原则是先整后拆，有公司名、电话号（拆分）、手机号（拆分）、邮箱、公司地址（拆分）、品牌名、网址（拆分）；其中拆分的意思是对这个数据进行拆解替换，这个时候就需要做如下替换：因为在新闻中，，这是时候就需要对其拆解替换才能替换干净，可以多看一下他的新闻中，可能会用什么样的格式；

注：数据处理还有很多技巧，需要自己在使用的过程中琢磨，更是采集的核心，如果处理不好，有可能是为他人做嫁衣，所以一定要仔细观察，考虑全面，如果处理好了，采集下来的文章甚至可以直接就发布（非自己企业站）

注意事项（）

1、右击分组：会出现如下图菜单，正常都能用到；

新建任务：在此分组上新建任务；

运行该分组下所有任务：顾名思义；

新建任务：在该分组下再建分组；

编辑/删除分组：编辑/删除当前分组；

导入/导出分组规则：可以导出当前分组下的所有任务，并导入到同版本火车头上；

导入任务至该分组：将导出的单个任务导入到该分组下面；

黏贴任务到该分组下：要复制过任务后此项才出现，可以黏贴多个同样的任务，然后再黏贴后的任务上进行编辑即可；

常州姜东：火车头采集器使用教程

开始任务:和菜单栏上的开始一样；

编辑任务:编辑已经写好的任务；

导出任务:可以将当前规则导出，在其他同版本工具上导入，但导入数据时需重复上面的第6步-发布内容设置，必须要重新选/填一遍；

复制任务到黏贴板:复制后，选择一个任务分组并右击，可以黏贴不同数量的任务到那个分组中，这样就避免同一个任务多次编写了；

清空任务所有采集数据:新如果之前采集过任务想重新采集的，则需求先清空；

常州姜东：火车头采集器使用教程

3、其他设置：顶部菜单栏中点击工具—选项，配置全局选项和默认选项；

全局选项：可以调整下同时运行任务最大个数，正常是5即可，可不调；

默认选项：是否忽略大小写点是；

常州姜东：火车头采集器使用教程