CrawlerSQL 设计

目标

首先CrawlerSQL会包含两个服务:

调度服务,比如每个url的抓取周期。 抓取服务:调度会给url,抓取服务负责实际的抓取

在StreamingPro里,我们仅仅会实现抓取服务,也就是写一段SQL脚本。至于每个脚本什么时候执行是调度服务的事情,这里我们需要区分开来。而且调度也算是一件非常复杂的事情。

我希望尽可能复用MLSQL的语法格式,尽量不添加新的SQL语法。实际上经过基本的尝试,发现是完全可以做到的。

抽象

我这里简单的把抓取分成两个类型:

  1. url列表抓取,也就是通常我们说的入口页,比如博客首页通常都是一堆文章列表。
  2. 内容抓取,也就是要把标题,时间,内容扣取出来。

每个入口页,在我看来都是一张表,里面有两个字段: url,root_url。 url 就是入口也里的内容的url,root_url则是入口页的url地址。

具体语法如下:

load crawlersql.`https://www.csdn.net/nav/ai` 
options matchXPath="//ul[@id='feedlist_id']//div[@class='title']//a/@href" 
and fetchType="list"
as aritle_url_table_source;

内容详情的抓取,在我看来,用UDF就足够了,我提供了三个方法:

crawler_auto_extract_title
crawler_auto_extract_body
crawler_extract_xpath

标题和正文一般可以做到自动抽取。其他比如时间,作者等则需要通过xpath抽取。

这里举一个例子:

select 
crawler_auto_extract_title(html) as title,
crawler_auto_extract_body(html) as body,
crawler_extract_xpath(html,"//main/article//span[@class='time']") as created_time
from aritle_list 
where html is not null
as article_table;

当然上面都是形式上的,一个爬虫真正要解决的问题有比如:

  1. IP 代理池,黑白名单。
  2. 异步加载网页的抓取
  3. 登录/验证码
  4. 动态更新周期
  5. 去重url等

现阶段重点还是考量语法层面的东西。

资源

目前我实现了一个探索版的,可参看这里: streamingpro-crawler,具体的案例有:

set tempStore="/tmp/streamingpro_crawler"

-- 抓取列表页的url
load crawlersql.`https://www.csdn.net/nav/ai` 
options matchXPath="//ul[@id='feedlist_id']//div[@class='title']//a/@href" 
and fetchType="list"
as aritle_url_table_source;

-- 抓取的url去重
select url,first(root_url) as root_url from aritle_url_table_source
group by url 
as aritle_url_table;

-- 获得历史已经抓取的url
load parquet.`${tempStore}`
as aritcle_url_history;

-- 排除掉已经抓去过的url

select aut.url as url ,aut.root_url as root_url from aritle_url_table aut  
left join aritcle_url_history auh  
on aut.url=auh.url 
where auh.url is null
as filter_aritle_url_table;

-- 抓取全文,并且存储
select crawler_request(regexp_replace(url,"http://","https://"))  as html 
from filter_aritle_url_table 
where url is not null
as aritle_list;
save overwrite aritle_list as parquet.`/tmp/streamingpro_crawler_content`;

-- 对内容进行解析
load parquet.`/tmp/streamingpro_crawler_content` as aritle_list;
select 
crawler_auto_extract_title(html) as title,
crawler_auto_extract_body(html) as body,
crawler_extract_xpath(html,"//main/article//span[@class='time']") as created_time
from aritle_list 
where html is not null
as article_table;

-- 对最后的抓取结果进行保存
save overwrite article_table as json.`/tmp/article_table`;

-- 已经抓取过的url也需要进行增量存储,方便后续过滤
save append filter_aritle_url_table as parquet.`${tempStore}`;

运行时,需要先保证/tmp/streamingpro_crawler 不能为空,你可以通过下面脚本初始化:

select "" as url ,"" as root_url 
as em;
save overwrite em parquet.`/tmp/streamingpro_crawler`

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

MindTouch简介和技术架构

摘要: 介绍MindTouch公司的企业级协作平台和平台架构。本文主要内容翻译自于【3】,也是协作吧!!的第一篇作品,希望大家多提意见。 正文: MindTou...

2227
来自专栏IT派

谈谈 MVC 模式

如何设计一个程序的结构,这是一门专门的学问,叫做"架构模式"(architectural pattern),属于编程的方法论。

1160
来自专栏魏琼东

AgileEAS.NET平台开发实例-药店系统-快速的SAAS开发体验

一、AgileEAS.NET应用开发简介 在4月份,callhot写过一系列的有关于AgileEAS.NET平台的开发应用的系列AgileEAS.NET平台开发...

2656
来自专栏程序员与猫

单元测试之道

标签: 单元测试 前言 系列 1. 前言 在一个项目当中,开发者常常要做大量的测试工作,如单元测试,集成测试,回归测试,压力测试 .etc。当然,依据项目情况大...

1846
来自专栏JetpropelledSnake

Python Web学习笔记之CPU时间片

时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时 间片结束时进程...

44611
来自专栏知晓程序

工作一团糟?快用这个小程序,好好整理你的任务

以前,我们通常把待办事项记录在便利贴上,来防止遗忘。可是,便利贴不能让我们随时随地查看,也不方便和其他人共享。

822
来自专栏编程

Go和Rust简单计算性能PK

作者:孙飞撩技术 链接:https://www.jianshu.com/p/003fc48cbf55 來源:简书 共3499字,阅读需9分钟 迁移自 CSDN:...

52910
来自专栏Java社区

快来查你注册过哪些网站?

1K2
来自专栏斑斓

处理遗留系统

处理遗留系统,几乎是每个程序员都不可能绕过的一件麻烦事儿。因为时间压力,技能不足以及功能复杂等诸多原因,常常使得遗留系统的代码变得糟糕混乱,可读性与维护性差,无...

2864
来自专栏阮一峰的网络日志

谈谈MVC模式

1. 如何设计一个程序的结构,这是一门专门的学问,叫做"架构模式"(architectural pattern),属于编程的方法论。 MVC模式就是架构模式的一...

3225

扫码关注云+社区

领取腾讯云代金券