dedecms 采集规则

DedeCMS（织梦内容管理系统）是一款流行的开源内容管理系统（CMS），它提供了丰富的功能来帮助用户管理和发布网站内容。其中，采集规则是DedeCMS的一个重要功能，它允许用户自动从其他网站抓取内容并发布到自己的网站上。

基础概念

采集规则是指一套预定义的指令和参数，用于指导DedeCMS如何从目标网站抓取内容。这些规则通常包括以下几个方面：

目标URL：需要抓取内容的网站地址。
抓取频率：设置抓取的时间间隔。
抓取内容：指定需要抓取的具体内容，如文章标题、正文、图片等。
过滤规则：用于过滤不需要的内容或广告。
存储方式：指定抓取的内容如何存储到DedeCMS数据库中。

类型

DedeCMS的采集规则主要分为以下几种类型：

全文采集：抓取整个网页的内容。
列表采集：抓取网页上的列表项，并进一步抓取每个列表项的详细内容。
定制采集：根据特定需求定制采集规则，抓取特定的内容。

应用场景

新闻网站：自动抓取其他新闻网站的内容，更新自己的新闻库。
博客聚合：将多个博客的内容聚合到一个网站上。
电商网站：抓取竞争对手的商品信息，进行市场分析。

遇到的问题及解决方法

问题1：采集不到内容

原因：可能是目标网站的页面结构发生了变化，或者采集规则设置不正确。 解决方法：

检查目标网站的页面结构，确保采集规则中的选择器和XPath表达式正确。
更新采集规则，重新测试。

问题2：抓取频率过高导致服务器压力大

原因：设置的抓取频率过高，超过了目标网站的承受能力。 解决方法：

降低抓取频率，避免对目标网站造成过大压力。
使用缓存机制，减少不必要的重复抓取。

问题3：抓取的内容包含大量广告或无用信息

原因：采集规则中的过滤规则设置不当。 解决方法：

细化过滤规则，排除广告和无用信息。
使用正则表达式或XPath表达式进行更精确的内容筛选。

示例代码

以下是一个简单的DedeCMS采集规则示例：

// 全文采集规则示例
$rule = array(
    'name' => 'Example Rule',
    'url' => 'http://example.com',
    'listurl' => '',
    'start' => '',
    'end' => '',
    'charset' => 'utf-8',
    'fields' => array(
        'title' => '//h1[@class="title"]',
        'content' => '//div[@class="content"]',
        'litpic' => '//img[@class="cover"]/@src'
    ),
    'filter' => array(
        'content' => array(
            'strip_tags' => true,
            'remove_tags' => array('script', 'style')
        )
    ),
    'maxtime' => 3600,
    'starttime' => time(),
    'endtime' => 0,
    'interval' => 3600,
    'priority' => 0,
    'keyfields' => array('title'),
    'auto_update' => 1,
    'listnum' => 10,
    'curl' => 1,
    'useragent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
);

// 保存采集规则
$采集规则 = new DedeCollectionRule();
$采集规则->Save($rule);