腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JackieZheng

专栏作者

150

文章

177452

阅读量

52

订阅数

Nutch源码阅读进程3---fetch

mapreduce 搜索引擎爬虫

该文介绍了如何利用基于 Nutch 的搜索引擎进行网页抓取，并提取文本内容。文章主要包含以下几个部分：1. 介绍 Nutch 的搜索引擎；2. 基于 Nutch 的搜索引擎进行网页抓取；3. 对抓取到的网页进行正文提取；4. 对提取到的内容进行关键词提取；5. 将提取到的关键词进行存储。

2018-01-08

1.1K0

Nutch源码阅读进程4---parseSegment

安全 mapreduce

本文介绍了Nutch引擎的解析模块，该模块主要负责将抓取到的网页内容进行解析，并生成可供索引和检索的数据结构。解析过程主要分为三个阶段：1. 解析HTML页面，生成DOM树；2. 解析DOM树，生成可供检索的数据结构；3. 对数据进行编码，生成可供索引的数据。该模块还实现了网页内容的获取、过滤和转换等功能，为搜索引擎提供高质量的原始网页数据。

2018-01-08

7110

Nutch源码阅读进程2---Generate

hadoop mapreduce

本文主要介绍了Nutch引擎的爬虫架构和原理，详细讲解了Nutch引擎的爬虫实现过程。主要包括爬虫的基本工作流程、URL管理、网页抓取、解析网页、抽取正文、存储、检索、分析等过程。此外，还介绍了Nutch引擎的架构设计、实现原理和主要模块。

2018-01-08

6250

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态