多个表单请求的抓取错误

文章/答案/技术大牛

发布

1回答

python、scrapy、web-crawler、python-requests

我正在使用scrapy登录一个使用FormRequest的网站，但由于该网站是在ASP.Net中建立的，用于分页，我也必须使用FormRequest，代码运行良好，但我不知道如何配置它的分页，因为我是新手当我在parse_item()中使用return时，它可以工作，但我想将它用于分页，当我在parse_item()中使用yield时，我得到这个错误。JobTypeProfile=20&LimitSearch=True&CandidateSearchCriteria=vKYIkjLZq5Af6OEmkANn

浏览 3提问于2016-08-29得票数 0

回答已采纳

1回答

如何在Node.js中为亚马逊产品详细信息创建经过身份验证的抓取器？

node.js、amazon-web-services、request、amazon、cheerio

我正在创建一个脚本，从亚马逊抓取所有已发货的商品并通知我。如果身份验证有效，之后使用cheerio来获取数据将会很容易。电子邮件中的链接是：

浏览 3提问于2015-12-05得票数 0

1回答

在抓取需要登录的网站时，我需要哪些信息？

python、web-scraping

我想在某个网站上访问我的业务数据库，并使用Python进行抓取(我使用的是Requests和BS4，如果需要，我可以做得更多)。但我不能。谁能提供我们的信息和简单的资源，如何抓取这样的网站。这个网站需要的远不止这些。除了UN和PW之外，我如何知道我需要为脚本提供的信息(例如，我如何知道我必须提供身份验证令牌)？当站点中没有HTTP，但却有javascript:__doPostBack形式的hrefs时，该如何处理？在

浏览 4提问于2018-08-02得票数 0

2回答

提供AntiForgery令牌与System.Net.Http.HttpClient和MVC

c#、asp.net-mvc、winforms、asp.net-mvc-4、winforms-to-web

但是，当我将ValidateAntiForgeryToken添加到控制器的Login (POST)操作时，PostAsync()调用由于内部服务器错误而失败。我尝试从简单的GET请求中收集"__RequestVerificationToken“，并通过将其添加到POST参数、请求的头或HttpHandler的__RequestVerificationToken(或三者的任意组合)中发送，但仍然从服务器获得错误500。或者如何

浏览 5提问于2014-12-03得票数 2

回答已采纳

1回答

使用Python3从JS生成的内容中抓取数据

web-scraping、python-3.5

我需要从一个python3程序中抓取一个网站(比如"www.example.com")，这个程序有一个包含以下两个元素的表单：2: Dropdown 需要在上面的表单中使用多个选项(例如'abc‘和'1')来运行查询，以填充/选择这些选项，并抓取由此生成的页面。因此，在填写表单和提交之后生成的页面具有在浏览器中可见的url，该页面上<

浏览 1提问于2016-10-28得票数 0

1回答

Googlebot尝试提交表单中的每个选择选项，在网站管理员工具中创建118,000个404

php、forms、.htaccess、http-status-code-404、googlebot

我在我的网站的每个页面上都有一个表格，你需要从下拉列表中选择4个选项，然后才能提交(由jquery验证)。这是我得到的404类型的一个例子。当表单提交时，它应该转到网站根目录中的&#x

浏览 1提问于2013-05-09得票数 0

2回答

用JQuery还是Python抓取？

jquery、python、screen-scraping

因此，假设我在一个网站上抓取多个页面(比方说1000)。我想知道哪种语言最适合用来抓取这些页面- javascript还是python。此外，我听说过javascript抓取器更快(由于多个get请求)，但我不确定如何实现这一点-有人能告诉我吗？谢谢!

浏览 1提问于2012-03-04得票数 0

回答已采纳

1回答

在Rails POST请求中查找表单域

ruby-on-rails、http-headers、http-post、ruby-on-rails-3.2

我正在使用一个普通的旧HTML表单向rails应用程序发送一个post请求。在应用程序中，我想抓取一些输入字段。我很难在请求中找到它们。尝试这样做：输出了大量数据，但我在其中找不到我的表单域。

浏览 0提问于2012-05-11得票数 0

回答已采纳

1回答

在jquery中使用多个引导按钮

javascript、jquery、ajax

我使用多个引导按钮，每个按钮使用jquery从数据库中删除特定项。下面是一些HTML示例。我认为这是因为Ajax没有选择这个表单。如何确保将正确的数据发送到服务器？谢谢

浏览 3提问于2016-02-26得票数 0

回答已采纳

2回答

C# WebClient -查看源问题

c#、winforms、httpwebrequest、screen-scraping、webclient

我试图加载的页面包含flash (在浏览器中，它会转换为HTML)。我猜这是为了避免被搜索引擎发现？我感兴趣的flash只是文本(不是图像/视频)等等，当我在firefox中“查看选择源”时，我确实在HTML中看到了我想要看到的文本。(有趣的是，当我查看整个页面的源代码时，我在HTML中看不到我想要看到的文本。这可能是相关的吗？)目前，在我发布了我的登录详细信息，并加载回HTML后，我看到的页面没有显示flash HTML (就像我已经查看了

浏览 3提问于2009-09-24得票数 2

回答已采纳

1回答

asp.net黑客攻击调度-看起来不像sql注入

asp.net

我在我的asp.net网站上有一个简单的联系表格(WebForms)。你知道他们想在这里做什么吗(顺便提一下，从IP: 193.201.224.132处发送)。我还试图阻止服务器上运行经典asp文件(设置web.config)，但它们设法更改了我的web.config文件。

浏览 3提问于2014-10-19得票数 0

回答已采纳

1回答

如何使用Python对Anchor.fm表单进行身份验证？

python、html、authentication

所以我认为不可能使用简单的POST方法。如果有，有什么包裹可以帮我做这件事吗？或者其他方法。

浏览 4提问于2022-10-14得票数 0

回答已采纳

2回答

asp.net中的IE6回发

asp.net、internet-explorer-6

我有一个页面，其中包含一个用户控件，它只是一个个性化的下拉列表。我为每个项目分配了onClick=__doPostBack('actrl',0)属性。奇怪的是，当我在按住shift键的同时单击链接时，页面重新加载时会正常显示所有更改。

浏览 0提问于2008-10-15得票数 1

回答已采纳

2回答

当表单提交时，GET方法传递的值会被遗忘。

asp.net、html、forms

我正在创建一个用于创建、删除、投票和查看在线调查的web系统，并且在GET方法中传递的参数存在问题。页面ViewSurvey.aspx获取一个调查ID的参数，然后从DB加载信息并显示出来。例如，要使用vacations的ID查看有关调查的信息，可以使用：ViewSurvey.aspx?survey=vacations。该页有一个表单，其中包含将查看其投票的选项(即:按地点、年龄等.)。但是当表单提交时，URL中的survey参数就会

浏览 1提问于2012-01-25得票数 0

回答已采纳

1回答

C#如何打开网页，识别元素，输入数据，等待下一页？

c#、html、winforms

这个问题可能以不同的形式存在，但我需要向我解释如何完成以下…… 我正在开发一个windows窗体应用程序(C#)。当我单击表单上的一个按钮时，我想导航到一个特定的页面(后面的代码都是这样的)，根据id或class在该页面上找到一个inputtype=text，输入一个密码，然后单击输入旁边的登录按钮。然后，在继续标识更多元素之前，我需要等待单击登录按钮后将加载的页面。我想找到一个html表并遍历它。如果有人能给我一个很好的例子，告诉我在我的<

浏览 16提问于2019-03-07得票数 0

2回答

重置facebook，就像页面的url

facebook、facebook-like

我们的网站上只有几个页面只对登录用户开放。然而，这些页面的urls是在facebook上共享的，每当facebook访问这些页面时，它都会被重定向到为非登录用户显示的公共页面。每当有人喜欢一个页面时，它也会反映在其他页面上，我猜这是因为facebook内部仍然认为所有页面都指向相同的url。但是，我正在为这些页面设置href属性，但它仍然不起作用。我确实尝试过传递一些GET params，但它仍然显示旧的计数器

浏览 1提问于2013-03-24得票数 0

回答已采纳

2回答

使用安全登录进行PHP站点抓取

php

我正在尝试计算我的一个分销商每种产品的库存数量。他们不知道如何导出此数据。所以我想知道是否有人可以帮助我指出正确的方向，如何用PHP抓取你必须登录才能获得数据的网站？它不是一个使用SSL的安全站点。谢谢你的建议，克里斯·爱德华兹

浏览 2提问于2010-12-02得票数 5

回答已采纳

1回答

PhantomJs，发送POST请求时获取查询参数

javascript、phantomjs、casperjs、http-request-parameters

我正在使用onResourceRequested监听每个请求的资源。当使用GET方法请求资源时，我可以从url中获取查询参数。但是当它是POST请求时，如何检索与请求一起发送的参数(比如表单数据)呢？ requestData对象具有以下键：headers、id、method、time、url。

浏览 1提问于2015-07-16得票数 1

1回答

发布数据时无法筛选抓取ASP.Net网站

python、asp.net、screen-scraping、python-requests

尝试对基于ASP.NET的网站进行屏幕抓取时，获取无效的回发或回调参数错误。第一个登陆页面的请求没有问题。当我在更改下拉字段值之一后发布表单数据时，会引发异常。下面是我的尝试：

浏览 36提问于2014-04-20得票数 2

回答已采纳

1回答

带有验证令牌的Python请求发布到网站

python、post、token、python-requests、verification

我使用Python3.3和请求库来完成基本的POST请求。我想模拟一下如果您从网页：手动向浏览器输入信息会发生什么。例如，在该url处，输入"x“作为车牌，并输入Virginia作为州。然后，url更改为：，并显示所需的信息(我关心第二个网页的源代码)。我查看了上面两个url的源代码，在第一个url的文本框上做了检查元素，我发现了一些需要包含在post请求中的东西：{'Plate':"x&qu

浏览 1提问于2014-12-15得票数 2

回答已采纳

点击加载更多