2回答
我正在编写一个node JS网络爬虫类，并且我遇到了以下错误this.textInvertedIndex[word].push is not a function。在最初的几次迭代中，通过控制台日志记录this.textInvertedIndex，一切似乎都很正常，因为它是数组的对象。但是突然发生了这个错误。代码中有没有我隐式重写textInvertedIndex的地方？下面是相关的类： function Crawler(queue, maxIndexSize) {
浏览 20提问于2021-01-08得票数 0
回答已采纳
1回答
我正在尝试使用一个名为Goutte (php scraper/web-crawler)的包，如下所示： // other fields
array_push但是，如果我在匿名函数中使用print_r，它似乎只显示每个循环中的当前元素。>f
浏览 0提问于2016-07-17得票数 0
2回答
我使用爬虫类的方式如下，我开始认为这是一种糟糕的做法：import requests
def __init__(self, url):self.url = url
requests.get(self.url)for url in urls:
crawler</e
浏览 0提问于2016-02-06得票数 1
2回答
我正在听老师做的一篇教程，我非常认真地学习。然而，当我试图转储和死掉被刮掉的数据时，它总是返回一个空数组，我看不出我的错误在哪里。有人能看出我做错了什么吗？我的代码： { $crawler= $client->request('GET', $url);
$categories = $<
浏览 11提问于2022-05-28得票数 0
回答已采纳
1回答
我刚刚下载并安装了nodejs的幻影爬虫。我将以下脚本复制并粘贴到一个名为crawler.js的文件中：var crawler = new Crawler();
// queue is an array o
浏览 4提问于2016-03-27得票数 1
回答已采纳
我用的是Postgres 9.5下面的查询旨在查找表中相同的数据行(但只有唯一的in )。events e2 and e.distance = e2.distance and e.web_crawler_id= e2.web_crawler_id and e.web_<em
浏览 3提问于2016-11-04得票数 1
回答已采纳
我目前正在使用SitecoreSearchContrib设置一个Sitecore 6.6网站的搜索。/sitecore/content/home 在我的网站上搜索可以返回网页或Word/PDF文档。除了对内容
浏览 0提问于2013-07-13得票数 0
回答已采纳
我想在另一个名为"property“的模型中调用listcity函数。/model/Crawler.phppublic function listcity($statename) public function __construct(Crawler $Crawler)
浏览 2提问于2018-02-08得票数 1
值始终为1，而不是预期的inc。代码如下所示： self.push_url = "prometheus-pushgateway:9091"
registry = CollectorRegistry()
c = Counter('news_crawler'source
浏览 17提问于2020-03-09得票数 4
6回答
args)process.start() def web_crawler(self): process = CrawlerProcess(get_project_settingsreturn (result
浏览 4提问于2017-01-05得票数 29
回答已采纳
1回答
我正在开发一个简单的应用程序来抓取网页来获取一些信息。为此，我使用并测试了一些库，如crawler4j、jsoup、jaunt和htmlunit。我多次更改爬虫API，因为有时我感觉到某个特性比我正在使用的特性更适合我。我可能不得不再做一次，每次这样做，我都必须绕开代码，进行各种重构。因此，我决定将对这些API的调用分离到一种封装类中，该类保存了与这些API相关的所有操作。因此，如果我决定更改爬虫API，我只需指向CrawlerApiHandler的另一个实现。下面是我
浏览 0提问于2016-01-30得票数 2
回答已采纳
我使用的是php 7.4.1和"fabpot/goutte": "^3.3"。<?php
因为我只是尝试匹配所有字符串，所以在较大的文本中找到了单词O
浏览 3提问于2021-03-24得票数 4
我希望得到一个确切的网址列表，有一个项目的列表存储在数据库中，并在使用后使用它。问题是我只得到了其中的第一项。我想获取帖子和标题的http:..............html，然后转到下一页，获取所有页面，等等，并将它们存储在数据库中。下面是我使用的代码：
$url ='http://newyork.craigslist.org/search/jjj?
浏览 0提问于2011-12-24得票数 0
回答已采纳
我有一份Alexa排名前100万的名单。我想检查一下这100万个站点中哪些是具有www.domain.com/pageNameUrl页面的站点。{ //save site name code... $exists = false;}
但是这段代码花费了太多的时间这将需要一个月甚至更长的时间来浏览所有的网站。有没有其他更快的方法？
浏览 2提问于2013-05-25得票数 2
1回答
让我的web爬虫类为我的java类项目工作是有问题的。以下是提示：这个类需要做两件事：
具有一个遍历1000个链接的函数。有一个计算单词的函数，也就是说，每次你看到一个特定<em
浏览 2提问于2020-08-09得票数 0
我正在调用另一个类中的方法，并且得到以下错误。这是声明和定义方法的类：import ast
web = Web()
from web import Web<e
浏览 20提问于2020-02-09得票数 1
回答已采纳
使用TYPO3 10.2运行TYPO3爬虫的单元测试
TYPO3_PATH_WEB=$PWD/.Build/Web typo3DatabaseName=crawler typo3DatabaseHost如果我将更改为GeneralUtility::makeInstance()，它会工作，但是使用$objectManager->get()是不起作用的。我知道这条线可以完全移除，只是想知道这里的问题是什么。我在里面找不到任何逻辑。要自我测试，您可以将composer
浏览 2提问于2019-12-07得票数 1
回答已采纳
1回答
我试图将一些数据存储到数组中。但是，我创建的公共数组在each()中变为null。如何纠正？questions = array();
$questions = array(); $crawler= $client->request('GET', 'https://indiabusinessquiz.com/');
$<
浏览 3提问于2016-10-13得票数 2
回答已采纳
1回答
并发Web爬行器
、、
描述前一段时间我使用了我提供的for解析模块以供审查。我正在寻找关于我的并发模式的反馈，但是代码的任何和所有方面都是开放的:)package main
"fmt" "net/http"struct { pop cha
浏览 0提问于2020-09-17得票数 6
回答已采纳
1回答
我试图在我的爬虫中实现策略模式，我认为使用不同的策略来爬行不同的网站是很好的。因此，我希望page.evaluate内部的内容是不同的，这取决于哪个网站目前正在运行。page.evaluate内部的注释代码可以工作，但是有什么方法可以将其解压缩到函数中吗？我试图运行this.findJobs()，但没有成功。title: job_link.text(), url: url, location: location, d
浏览 0提问于2016-09-12得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
