Web抓取器返回多个错误

文章/答案/技术大牛

发布

1回答

python、web-scraping

我正在做一个保险网页的网络爬虫，它在CSV中检索我的模型，品牌，子品牌和描述，当我运行我的代码时，有时它工作，另一些时候给我多个错误(“列表索引必须是整数”，“期望值:行1列1"，"JSON解码器不工作

浏览 14提问于2019-08-08得票数 1

回答已采纳

2回答

Python web抓取返回错误

python、python-2.7、web-scraping

我目前正在学习Python，并尝试学习web抓取。我一直在使用我从一些教程中获得的示例代码，但我在查看的一个网站上遇到了问题。下面的代码应该返回网站的标题：import rei=0 titles=re.findall(pattern,htmltext) print t

浏览 1提问于2013-10-18得票数 0

1回答

爬虫-如何抓取帐户/密码保护的网站？

r、web-scraping、web-crawler、web-mining、rcrawler

问题是，在GitHub页面上，没有提到如何通过帐户/密码保护来抓取一个站点。ExtractCSSPat = c(".entry-title",".entry-content"), PatternsNames = c("Title","Content")) 我确信上面的代码是错误的

浏览 1提问于2018-07-09得票数 1

1回答

抓取动态表单WWW：：机械化Perl

javascript、perl、www-mechanize

我正在尝试使用WWW::Mechanize模块从页面中抓取表单及其字段。因为网页的主体是使用document.write JS调用创建的，所以此模块中的表单方法找不到我正在查找的表单，并且对content方法的调用将返回页面源代码。

浏览 3提问于2014-08-07得票数 1

1回答

Web抓取错误返回字符(0)

r、web-scraping、syntax-error、rvest、web-scraping-language

我正在使用此代码(对不起，如果有任何错误，我是新来的)：library(dplyr) page <- read_html("https://www.metrocuadrado.com

浏览 10提问于2022-02-15得票数 -2

1回答

使用python从同一网页中的多个链接中提取数据

python、web-scraping、beautifulsoup、python-requests

我是蟒蛇和网络抓取的新手。我试图从这个链接中提取关于临床诊断测试的测试成分的信息。

浏览 1提问于2018-01-19得票数 0

1回答

使用selenium返回多个Web域的web抓取

python、selenium

我需要在这个网站上执行多个查询，并将报价或购买的状态返回给我，但是我的代码返回了一个意想不到的值，但我的代码无法插入其他链接，你知道如何解决这个问题吗？

浏览 0提问于2020-05-09得票数 0

1回答

如何运行Django应用程序的多个实例？

django、python-3.x

我只想知道运行django应用程序的多个实例的方法，以及它是否真的可以放在首位。让我们假设它是一个web抓取应用程序。如果一个用户访问应用程序并运行抓取器，则从不同位置访问站点的另一个用户似乎无法访问该应用程序或运行抓取器，除非第一个用户开始的抓取结束。真的有可能让所有不同的用户都可以独立

浏览 6提问于2020-04-18得票数 1

3回答

Web抓取:用Python抓取多个Web

python、web-scraping、beautifulsoup

BeautifulSoup(page.content, 'lxml') print(paragraph.text) 我想从中抓取排名、审查和审查日期，但是，我不知道如何从多个页面中抓取，并为抓取结果制作一个熊猫DataFrame。

浏览 1提问于2019-01-13得票数 3

回答已采纳

1回答

我应该使用什么返回代码？

apache、seo

或者，我是否必须设置Apache重定向，或者为web爬虫做404或其他特殊的操作？

浏览 0提问于2013-08-21得票数 0

回答已采纳

1回答

Web抓取空白返回-错误的元素

python、html、web-scraping、element

我正在使用代码来网络抓取客户评论。一切都按照我想让代码做的事情进行，但是我不能正确地获得评级的类或属性，所以代码总是为Ratings列返回空白结果。

浏览 12提问于2020-03-06得票数 4

回答已采纳

2回答

python web请求抓取返回错误404

python、python-requests-html

iam试图web 刮这个黄页网站，以获得下面的联系人详细信息，iam试图做一个帖子请求，但返回一个404错误消息。我使用将我的响应转换为python。

浏览 1提问于2021-09-28得票数 0

1回答

使用casperjs进行Web抓取返回错误

javascript、casperjs

我正在尝试使用casperjs库抓取一个网站。我不能让它前进到某个页面，因为它不断地重定向并循环回到我所在的页面，尽管正确地输入了表单。with input button然后，当我进入下一个主登录页面时： capture(); // capture screenshot它返回的只是我当前所在的页面

浏览 2提问于2015-06-15得票数 0

2回答

Python Web抓取HTTP 400

python、http、web-scraping、scrapy

我正在使用Python (使用Scrapy框架)进行web抓取。抓取过程成功运行，直到过程进入大约一个小时，然后每个请求返回一个HTTP400错误代码。这可能只是一个基于IP的速率限制器或刮擦检测工具吗？对于如何进一步调查根本原因，有什么建议吗？

浏览 1提问于2015-08-26得票数 0

2回答

Web抓取和http过多请求响应

c#、http、web-scraping、webclient

在处理web抓取项目时，为了提取我需要的所有信息，我需要发出许多请求，但服务器在发出大约50个请求后，它会返回429状态代码，指示错误“请求太多”，该如何处理？

浏览 1提问于2013-07-10得票数 0

回答已采纳

1回答

Web抓取多个Web地址

python

我正试图在一个脚本中遍历几个网页。但是，它只会从我的列表中的最后一个URL拉回数据from bs4 import BeautifulSoup # BeautifulSoup is in bs4 package for URL

浏览 16提问于2019-08-14得票数 1

1回答

我知道搜索引擎首先索引主页，然后跟着它的链接，并做同样的网页按链接作为主页之前。好的，但是文件夹和子文件夹呢？即使在页面的源代码中没有提到文件夹，搜索引擎是否单独地对它们进行索引？例如，我有文件夹/some_folder，在页面的源代码中没有提到它，它也会被索引吗？如果是而且我使用静态html页面，并且我有一个具有category/page (即/category文件夹中的page.html文件)的URL的页面，这是否意味着搜索引擎将用html文件索引这个文件夹，并且会有两个/category/page副本:一个来自链接/category/page后的页面索引，另一个来自与html文件相同页

浏览 0提问于2019-05-13得票数 1

回答已采纳

1回答

获取数据后返回数据JavaScript

javascript、node.js、asynchronous、callback、asynccallback

我有一个主文件，它调用一个网络抓取器，它转到几个链接并从站点获取原始数据，然后下一行调用网络抓取器文件中的一个函数，该函数将一个JSON对象返回给主文件。但是因为它需要一小段时间去抓取网站，所以返回的结果是返回一个空对象。如何使用回调或其他方法在调用get方法之前等待数据。主文件 function

浏览 2提问于2016-12-19得票数 1

2回答

使用curl在本地获取.php文件

php、curl

我在PHP中使用curl来返回PHP文件的内容。我想在本地这样做，因为我将在同一个脚本中访问多个PHP文件，因此直接打开文件会更快。但是，我希望能够将参数推入PHP文件中(将它们精确地视为web上的PHP文件，但在本地抓取它们)，因为我希望将参数推入脚本中，这些脚本将在我抓取它时生成额外的动态内容。编辑抱歉，混淆了：-This目前正在一个for服务器上运行，我目前正在调用http:// (而不是-This，这样就可以执行这些文件中包含的PHP )。但是，我发现这很慢

浏览 4提问于2013-01-23得票数 2

1回答

Google Cloud VM实例的Selenium替代方案？

python、selenium、web-scraping、google-cloud-platform、webdriver

有没有不需要web驱动程序或浏览器就能运行的Selenium的替代品？我最近将我的代码移到了Google Cloud VM实例上，当我运行它时，出现了多个错误。我已经试了几个小时了，但就是不行( PhantomJS、Chrome和GeckoDriver都不行--我试着重新下载浏览器，编辑sources.list文件e.c.t.)。我在web上抓取的页面使用JavaScript加载数字，我最初选择Selenium。不过，其他的一切都很完美！

浏览 10提问于2020-05-25得票数 0

点击加载更多