开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

bin/nutch inject crawl/crawldb urls不工作

bin/nutch inject crawl/crawldb urls是Nutch爬虫框架中的一个命令，用于将待抓取的URL添加到爬虫的URL队列中。具体来说，该命令的作用是将urls文件中的URL添加到crawldb数据库中，以便后续的爬取任务能够获取到这些URL并进行抓取。

Nutch是一个开源的网络爬虫框架，用于从互联网上抓取和索引网页。它采用Java语言开发，提供了一套灵活的工具和API，可以用于构建自定义的网络爬虫应用。

在使用bin/nutch inject crawl/crawldb urls命令时，需要注意以下几点：

crawl/crawldb：这是Nutch中存储抓取任务信息的数据库，包含了待抓取的URL、已抓取的URL以及相关的元数据。该命令将待抓取的URL添加到这个数据库中。
urls：这是一个文本文件，包含了待抓取的URL列表。每行一个URL。

使用bin/nutch inject crawl/crawldb urls命令的步骤如下：

确保已经安装和配置好了Nutch环境。
创建一个文本文件，命名为urls，将待抓取的URL列表逐行添加到该文件中。
打开终端或命令行窗口，切换到Nutch的安装目录。
运行以下命令：bin/nutch inject crawl/crawldb urls

执行完毕后，Nutch会将urls文件中的URL添加到crawldb数据库中，供后续的爬取任务使用。

Nutch的优势在于其灵活性和可扩展性，可以根据具体需求进行定制开发。它可以应用于各种场景，包括但不限于搜索引擎、数据挖掘、舆情监测等。

腾讯云提供了一系列与云计算相关的产品和服务，其中包括云服务器、云数据库、云存储、人工智能等。具体推荐的腾讯云产品和产品介绍链接如下：

云服务器（ECS）：提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
云数据库（CDB）：提供高可用、可扩展的数据库服务，支持多种数据库引擎。了解更多：https://cloud.tencent.com/product/cdb
云存储（COS）：提供安全可靠的对象存储服务，适用于图片、视频、文档等各种类型的数据存储。了解更多：https://cloud.tencent.com/product/cos
人工智能（AI）：提供多种人工智能服务，包括图像识别、语音识别、自然语言处理等。了解更多：https://cloud.tencent.com/product/ai

以上是关于bin/nutch inject crawl/crawldb urls命令的解释和相关推荐的腾讯云产品。希望能对您有所帮助。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Ubuntu 13.10下配置Nutch1.7和Solr4.6集成

检验：java -version和java均有内容（内容省了粘贴）（3）nutch 下载nutch1.7，解压到/opt/nutch cd /opt/nutch bin/nutch 此时会出现用法帮助...的默认设置是不处理这种方式的，需要打开之，参考：http://lucene.472066.n3.nabble.com/Content-Truncation-in-Nutch-2-1-MySQL-td4038888....html step6:爬取实验 bin/nutch crawl urls -dir crawl （4）Solr安装下载solr4.6，解压到/opt/solr cd /opt/solr/example...${APACHE_SOLR_HOME}/example/solr/conf/ 重启solr： java -jar start.jar 建立索引： bin/nutch crawl urls -dir.../ -Rf bin/nutch crawl urls -dir crawl -depth 2 -topN 5 -solrhttp://localhost:8983/solr/ ………… ………… CrawlDb

7441 0

Nutch源码阅读进程2---Generate

继之前仓促走完nutch的第一个流程Inject后，再次起航，Debug模式走起，进入第二个预热阶段Generate~~~ 上期回顾：Inject主要是将爬取列表中的url转换为指定格式<Text，CrawlDatum...源码，所以这块先放放，理清nutch的大体思路后再去啃hadoop的mapreduce，总之这是第一个点，随后是将第一个任务执行完的输出作为输入执行第二个任务，主要是判定当前的CrawlDb中的url和要更新的...url是否有重复的，通过相应的判断和标记状态（如STATUS_INJECTED、STATUS_DB_UNFETCHED）确保crawldb中此次的Inject的url不会重复，为下一步Generate做准备...注意：这里的输入时前面一个环节Inject产生的Crawldb，输出存放在刚刚生成的tempdir的临时文件夹； 2.随后进入任务的提交阶段，即执行：JobClient.runJob(job);，进入该方法后...后面就是一些清理现场的工作，比如解除文件锁、删除之前创建的临时文件夹等。

6387 0

Nutch源码阅读进程1---inject

最近在Ubuntu下配置好了nutch和solr的环境，也用nutch爬取了一些网页，通过solr界面呈现，也过了一把自己建立小搜索引擎的瘾，现在该静下心来好好看看nutch的源码了，先从Inject开始吧..., nutch-site.xml共四个配置文件；之后回到crawl的main函数中执行：int res = ToolRunner.run(conf, new Crawl(), args);参数conf...它能够辨别一些标准的命令行参数，能够使应用程序轻易地指定namenode，jobtracker，以及其他额外的配置资源）对输入的命令行参数args（如[urls, -dir, crawl20140724...4）初始化jobconf和filesystem后，主要是一些参数的界面输出，以及明确临时文件的存放位置并初始化nutch爬取的几个流程类inject、generate、fetch、parse和update...等；然后执行：injector.inject(crawlDb, rootUrlDir);初始化CrawlDb，实现将url转换为指定格式的输入；进入该方法后，设置一些的参数，包括输入输出，mapper

7049 0

Nutch源码阅读进程5---updatedb

看nutch的源码仿佛就是一场谍战片，而构成这精彩绝伦的谍战剧情的就是nutch的每一个从inject->generate->fetch->parse->update的环节，首先我党下派任务给优秀的地下工作者...（inject），地下工作者经过一系列处理工作（告诉自己媳妇孩子要出差什么的……）以及加入自己的主观能动性（generate），随后深入敌方进行fetch侦查工作，这其中会获得敌方的大量信息，不是一般农民工能看懂的...组织再根据汇报的信息和当下的时局再次知道地下工作者的下一步工作，就是又一个inject->generate->fetch->parse->update环节。...so，剧情仍在继续，update走起~~~~ 上期回顾：上回主要讲的是第四个环节，对于nutch抓取到的页面进行解析，主要是通过一个解析插件完成了页面的主要信息的获取，并生成crawl_parse、parse_data...，当然还是通过nutch的插件服务来实现的。

7427 0

hadoop使用（四）

3.1 对下载后的压缩包进行解压，然后cd $HOME/nutch-1.3/runtime/local 3.2 配置bin/nutch这个文件的权限，使用chmod +x bin/nutch ...抓取前要做什么准备工作?...http://nutch.apache.org/ 4.3 然后运行如下命令 bin/nutch crawl urls -dir mydir -depth 3 -topN 5 bin/nutch...crawl urls -dir crawl -depth 3 -topN 5 注意，这里是不带索引的，如果要对抓取的数据建立索引，运行如下命令 -dir 选项设置抓取结果存放目录...附加一张中文图不知道为什么在Nutch-1.3中没了Nutch自带的搜索war文件，而且在Nutch-1.3中，抓取文件后，生成的目录只有crawldb，linkdb，segments 查了一下官网

9368 0

Nutch源码阅读进程3---fetch

走了一遍Inject和Generate，基本了解了nutch在执行爬取前的一些前期预热工作，包括url的过滤、规则化、分值计算以及其与mapreduce的联系紧密性等，自我感觉nutch的整个流程是很缜密的...和reducer类具体做了那些工作都可以参考上一篇。...后面就是一些变量的赋值和初始化，比如超时变量、抓取的最大深度、最多的链接个数等这些都是为了后面抓取工作做准备的。..., System .currentTimeMillis()); if (segs == null) { LOG.info("Stopping at depth=" + i + " - no more URLs...mapred.job.tracker.jobhistory.lru.cache.size=5, fetcher.threads.timeout.divisor=2, db.fetch.schedule.class=org.apache.nutch.crawl.DefaultFetchSchedule

1.1K5 0

Apache nutch1.5 & Apache solr3.6

这里我列出3 点原因: 透明度:nutch 是开放源代码的,因此任何人都可以查看他的排序算法是如何工作的。商业的搜索引擎排序算法都是保密的,我们无法知道为什么搜索出来的排序结果是如何算出来的。...了解一个大型分布式的搜索引擎如何工作是一件让人很受益的事情。在写Nutch 的过程中,从学院派和工业派借鉴了很多知识:比如,Nutch 的核心部分目前已经被重新用Map Reduce 实现了。...bin.tar.gz 如果没用权限，可以使用chmod和chown授权验证一下，执行 bin/nutch ?...*www.163.com/ 执行爬取命令： bin/nutch crawl urls -dir crawl -depth 3 -topN 5 urls 是存放163 网址的文件夹目录 -dir...-topN 指在每层的深度上所要抓取的最大的页面数, 完全抓取可设定为1 万到100 万,这取决于网站资源数量爬取资源并且添加索引： bin/nutch crawl urls -solr

1.8K4 0

Nutch2.1+Hbase+Solr快速搭建一个爬虫和搜索引擎（快速，基本2小时内搞定）

/bin/start-hbase.sh solr安装配置下载安装 wget https://mirrors.cnnic.cn/apache/lucene/solr/7.7.2/solr-.../apache-nutch-2.2.1-src.tar.gz tar zxf apache-nutch-2.2.1-src.tar.gz 配置修改 conf/nutch-site.xml <...vim seed.txt #添加要抓取的url http://www.dxy.cn/ 设置url过滤规则（可选） #注释掉这一行 # skip URLs containing certain...-- 新增字段 for nutch end--> 启动nutch 抓取 # bin目录为 nutch下的runtime/local 下面的bin ..../bin/crawl ~/urls/ jkj http://192.168.1.61:8983/solr/jkj_core 2 ~/urls/ 是我存储抓取文件的目录 jkj 是我指定的存储在在hbase

1.3K2 0

Nutch源码阅读进程4---parseSegment

前面依次看了nutch的准备工作inject和generate部分，抓取的fetch部分的代码，趁热打铁，我们下面来一睹parse即页面解析部分的代码，这块代码主要是集中在ParseSegment类里面...thread决定消费者的个数，线程安全地取出爬取队列里的url，然后在执行爬取页面，解析页面源码得出url等操作，最终在segments目录下生成content和crawl_fetch三个文件夹，下面来瞧瞧...http://www.ahu.edu.cn/ contentType: application/xhtml+xml metadata: Date=Sat, 02 Aug 2014 13:46:36 GMT nutch.crawl.score...4.关于segment文件夹下的crawl_parse,parse_data,parse_text三个文件夹是如何生成的，我们可以看看上面job的输出ParseOutputFormat类。... // parse_text Path data = new Path(new Path(out, ParseData.DIR_NAME), name);//parse_data Path crawl

7237 0

Nutch2.1在Windows平台上使用Eclipse debug 存储在MySQL的搭建过程

进入java build path ，在source选项卡，删除src文件夹，选择“Add Folder ”，在这里把conf,src/bin,src/java,src/test,src/testresources...classpathentry kind="src" path="src/plugin/creativecommons/src/java"/> <classpathentry kind="src" path="src/<em>bin</em>...[ext]" 步骤8：配置抓取url 在test项目下创建文件夹urls，在urls下创建文件seeds.txt ，写你要抓取的网站。我写的是http://www.163.com。...步骤9：运行org.apache.nutch.crawl.Crawler 打开Crawler文件，“Run As” -> “Run Configurations” ，在“Arguments”选项卡的...“Program Arguments”，输入 “urls -depth 3 -topN 5”，点"Run"。

7542 0

爬虫面试题 | 系统设计 —— 如何设计一个网页爬虫

那么重新抓取的频率越高每月抓取 40 亿个链接每个页面的平均存储大小：500 KB 简单起见，重新抓取的页面算作新页面每月搜索量 1000 亿次用更传统的系统来练习 —— 不要使用 [solr]、[nutch...class Page(object): def __init__(self, url, contents, child_urls, signature): self.url =...url self.contents = contents self.child_urls = child_urls self.signature = signature...def crawl_page(self, page): for url in page.child_urls: self.data_store.add_link_to_crawl...尽管我们不会深入网页数据分析的细节，我们仍然要做一些数据挖掘工作来确定一个页面的平均更新时间，并且根据相关的统计数据来决定爬虫的重新抓取频率。

1.9K3 1

爬虫框架整理汇总

3.Scheduler Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。...by default, this reduces the risk of an error corrupting the fetch parse stage of a crawl with Nutch...另外很吸引人的一点在于，它提供了一种插件框架，使得其对各种网页内容的解析、各种数据的采集、查询、集群、过滤等功能能够方便的进行扩展，正是由于有此框架，使得 Nutch 的插件开发非常容易，第三方的插件也层出不穷...Decide whether the task is new or requires re-crawl....Decide whether the task is new or requires re-crawl.

2.3K6 0

python crawlspider详解

scrapy genspider -t crawl spider名称 www.xxxx.com LinkExtractors: allow:必须要匹配这个正则表达式的URL才会被提取，如果没有给出，...(str or list) deny:allow的反面，如果没有给出或空，不排除所有。优先级高于allow。...由于CrawlSpider使用parse方法来实现其逻辑，如果覆盖了 parse方法，crawl spider将会运行失败。 follow:是否跟进。.../usr/bin/python -- coding:utf-8 -- from scrapy.contrib.spiders import CrawlSpider,Rule from scrapy.spider...= sel.xpath('//li[@class="next_article"]/a/@href').extract() for url in urls: print url

3142 0

0x6 Python教程：Spidering

您还可以利用名为“Spider”的Python模块在更少的代码行中执行此操作：您可以配置几个与蜘蛛如何工作相关的选项“myspider（b = URL.strip（），w = 200，d = 5，t...您可以通过更改传递给myspider函数的参数来修改蜘蛛的工作方式： b - 基本Web URL（默认值：无） w - 要爬网的资源量（默认值：200） d - 要爬网的层次结构深度（默认值：5））.../usr/bin/pythonfrom spider import webspider as myspiderimport sys, optparse def crawler(URLs):...0]) out = URL+": has a link count of "+str(link_count) print "[+] Web Crawl...with URLs') (options, args) = parser.parse_args() URLs=options.URLs if (URLs =

7361 0

什么是大数据？你需要知道的…..

Hadoop最初是用来索引现在不知名的Nutch搜索引擎的，现在几乎所有主要行业都使用Hadoop来进行大范围的大数据工作。...Nutch利用Lucene技术进行索引，所以Lucene中对索引进行操作的接口对Nutch中的index同样有效。...工作步骤：在Nutch中，Crawler操作的实现是通过一系列子操作的实现来完成的。这些子操作Nutch都提供了子命令行可以单独进行调用。下面就是这些子操作的功能描述以及命令行，命令行在括号中。...将抓取起始URLs写入WebDB中 (inject). 3. 根据WebDB生成fetchlist并写入相应的segment(generate). 4....在索引中丢弃有重复内容的网页和重复的URLs (dedup). 10.

5762 0

使用Scrapy从HTML标签中提取数据

准备工作熟悉我们的入门指南并完成设Linode主机名和时区的设置步骤。本指南将尽可能使用sudo实现指令。...请修改版本： update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1 update-alternatives.../python程序链接从原先默认的Python2 替换为新安装的Python 3： sudo rm -f /usr/bin/python sudo ln -s /usr/bin/python3 /usr.../bin/python 检查是否使用了正确的版本： python --version 安装Scrapy 系统级别下安装（不推荐）虽然系统级别下的安装是最简单的方法，但可能其会与其他需要不同版本库的Python...__init__(*args, **kwargs) # 使用url参数设置start_urls属性 self.start_urls = [url] 2.使用-a命令行标志传递Spider

10K2 0

java爬虫实现

他的主要工作就是跟据指定的url地址去发送请求,获得响应, 然后解析响应 , 一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径, 然后继续访问,继续解析;继续查找需要的数据和继续解析出新的...这就是网络爬虫主要干的工作. 下面是流程图: 通过上面的流程图能大概了解到网络爬虫干了哪些活 ,根据这些也就能设计出一个简单的网络爬虫出来....java.util.regex.Pattern; /** * 字符集自动检测 * * @author hu */ public class CharsetDetector { //从Nutch...([a-z][_\\-0-9a-z]*)[^>]*>", Pattern.CASE_INSENSITIVE); //从Nutch借鉴的网页编码检测代码 private...else return false; } }; //循环条件：待抓取的链接不空且抓取的网页不多于

7074 0

LeetCode 1236. 网络爬虫（BFSDFS）

你的网络爬虫应当按照如下模式工作：自链接 startUrl 开始爬取调用 HtmlParser.getUrls(url) 来获得链接url页面中的全部链接同一个链接最多只爬取一次只输出域名与...提示： 1 <= urls.length <= 1000 1 <= urls[i].length <= 300 startUrl 为 urls 中的一个。...关于域名有效性的约束可参考: https://en.wikipedia.org/wiki/Hostname#Restrictions_on_valid_hostnames 你可以假定url库中不包含重复项...: * vector getUrls(string url); * }; */ class Solution { public: vector crawl...class Solution { unordered_set visited; vector ans; public: vector crawl

8061 0

Java 动手写爬虫: 三、爬取队列

FetchQueue 这个就是保存的待爬取网页的队列，其中包含两个数据结果 toFetchQueue: CrawlMeta 队列，其中的都是需要爬取的url urls: 所有爬取过or待爬取的url集合...= new ArrayBlockingQueue(200); /** * 所有爬取过的url集合，用于去重 */ private Set urls...(crawlMeta.getUrl())) { return; } urls.add(crawlMeta.getUrl...DefaultAbstractCrawlJob 默认的抽象爬取任务，第二篇深度爬取中是直接在这个job中执行了所有的深度爬取，这里我们需要抽里出来，改成每个job只爬取这个网页，至于网页内部的链接，则解析封装后丢入队列即可，不执行具体的抓去网页工作...之前没有考虑字符编码的问题，因此全部走的都是默认编码逻辑，对应的源码如下，其中 defaultCharset = null, 因此最终的编码可能是 ISO_8859_1 也可能是解析的编码方式，所以在不指定编码格式时

1.9K5 0

Python scrapy 安装与开发

Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract...爬虫中间件(Spider Middlewares) 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。...mimvp_proxy_python_scrapy 运行命令: 12345 $ which scrapy/Library/Frameworks/Python.framework/Versions/3.6/bin...__dict__.update(kwargs) if not hasattr(self, 'start_urls'): self.start_urls = [] 3..../usr/bin/env python# -*- coding:utf-8 -*-## Python scrapy 支持 http、https## 米扑代理示例：# http://proxy.mimvp.com

1.3K6 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭