我有以下问题。我尝试从他的链接抓取Amazon子类别，我使用函数begin_crawl()。如何从该链接中提取子类别？我得到了TypeError：'NoneType‘对象是不可调用的。我附上了所有的错误代码。我将感谢任何帮助。 File "crawler.py, line 106, i
浏览 0提问于2018-01-19得票数 0
1回答
我试图建立一个简单的网络爬虫，给出每个军团产品在amazon.in上显示的网址，如果关键字搜索是‘军团’。def legion_spider(max_pages): while page <= max_pages:C:\Users\lenovo\AppData\Local\Programs\Python\Python38-32\pyth
浏览 3提问于2020-05-09得票数 1
1回答
我有一个运行多个Python爬虫实例的脚本，Crawler是int /root/crawler/batchscript.py爬虫工作得很好。只发布相关代码)from scrapy.utils.project import get_project_settings
from amazon</e
浏览 3提问于2016-11-17得票数 0
回答已采纳
4回答
这是我的第一个问题，而且我不是以英语为母语的人，对新手的错误感到抱歉.
我从Symfony2开始，几天来我一直面临一个自动测试的问题，我要疯了..我只是想在我的DefaultController of AppBundle中使用一个PHP类。我已经阅读了这样做的方法:在我的config.yml中创建一个服务，并为匹配的类提供一个命名空间。/CollectorBundle/Crawler</e
浏览 3提问于2013-09-29得票数 5
回答已采纳
我在气流2中设置了AWS秘密管理器作为我的秘密后端。我在秘密管理器中定义了类似于aws_default的连接(纯文本)： File "/home/airflow/venv/lib64/python3.7/site-packages/airflow/providers/amazon</
浏览 2提问于2021-11-19得票数 0
回答已采纳
6回答
args)process.start() def web_crawler(self): process = CrawlerProcess(get_project_settingsreturn (result1, result
浏览 4提问于2017-01-05得票数 29
回答已采纳
我使用网络爬虫在屏幕上抓取数据，并将结果(来自twitter页面的推文)存储为我正在抓取的每个用户的单独html文件。我打算稍后解析html文件，并将数据存储到数据库中进行分析。然而，我有一个奇怪的问题。crawl(follower, in_depth): searched.add(follower) if in_d
浏览 4提问于2011-08-18得票数 2
回答已采纳
3回答
我正在尝试用Python编写一个基本的网络爬虫。我遇到的麻烦是解析页面以提取url，我已经尝试过BeautifulSoup和正则表达式，但是我无法实现一个有效的解决方案。举个例子:我正在尝试提取Facebook的Github页面中的所有成员urls。()。我写的代码提取了成员的URL； text = urllib2.urlopen(url).read();
soup = Beautif
浏览 0提问于2012-11-07得票数 2
回答已采纳
1回答
我刚刚开始学习Django/Python。我创建了一个名为reddit_project的项目和一个名为scraper的应用程序。我正在尝试使用我的models.py中的模型链接，这样我就可以基于我在web_crawler.py中抓取的JSON创建记录。然而，Django一直告诉我，当我试图在我的终端运行web_crawler.py时，这个模块刮板并不存在
浏览 0提问于2015-02-26得票数 1
3回答
我正在尝试能够有一个全局异常捕获，当错误发生时，我可以添加额外的信息。我有两个类，"crawler“和"amazon”。我想要做的是能够调用" crawl "，在amazon中执行一个函数，并在爬行函数中使用异常处理。下面是我的两个类： Mechanize.html_parser = Nokogiri::HTML
浏览 4提问于2012-04-07得票数 1
回答已采纳
这是我通过运行scrapyd-deploy生成的setup.py# Automatically created by: scrapyd-deploy/python2.7-env/local/lib/python2.7/site-packages/twisted/web/http.py", line 1755
浏览 0提问于2015-08-24得票数 1
7回答
我有一个Windows机器上的Visual代码，我正在它上做一个新的。爬行器工作正常，但我想调试代码，为此我在我的launch.json文件中添加了以下内容： "name": "Scrapy with Integrated Terminal/Console","type": "python", "s
浏览 1提问于2018-03-09得票数 23
回答已采纳
2回答
我已经手动提供了一个Glue Crawler，现在正在尝试通过气流运行它(在AWS中)。下面的代码定义了GlueCrawler+Airflow的基本设置。假设在它之前和之后定义了一些其他工作任务，这些任务在这里不包括。run_crawler = AwsGlueCrawlerHook()
run_crawl
浏览 1提问于2021-04-06得票数 0
回答已采纳
我目前正在使用SitecoreSearchContrib设置一个Sitecore 6.6网站的搜索。/sitecore/content/home 在我的网站上搜索可以返回网页或Word/PDF文档。除了对内容
浏览 0提问于2013-07-13得票数 0
回答已采纳
2回答
我正在尝试实现一个简单的web爬虫，我已经编写了一个简单的代码来开始:有两个模块fetcher.py和crawler.py。以下是这些文件： import urllib2 def fetcher(s): crawler("http:
浏览 1提问于2013-01-23得票数 0
回答已采纳
1回答
基本上，我有一个看起来很神奇的url。具体来说就是这样：
import requests<Response [200]>Crawled (404) <GET https://www.ama
浏览 3提问于2015-08-01得票数 2
回答已采纳
1回答
示例代码的参考链接问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8提问于2014-04-25得票数 0
2回答
我需要在单个Solr索引2中添加不同的sitecore路径/sitecore/content/System/My path和/sitecore/content/System/My Path 2。我怎么才能用正确的方式做这件事？
我是否应该将新的爬虫描述添加到具有新根值的locations部分。我应该在根部分使用\\拆分器吗？或者我需要复制根中的新路径的所有索引部分？
浏览 4提问于2016-07-05得票数 3
回答已采纳
我正在尝试用python做一个小的网络爬虫。现在似乎让我绊倒的是这个问题的递归部分和深度。给定一个url和我想从那里链接到多少个网站的maxDepth，然后我将url添加到搜索网站集，并从该网站下载所有文本和链接。对于url中的所有链接，我想搜索每个链接，并获得它的单词和链接。问题是，当我递归调用下一个url时，深度已经在maxDepth处，并且在只转到另一个页面后就停止了。希望我能很好地解释它，基本上我要问
浏览 1提问于2012-09-19得票数 3
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
