在Python HTML抓取中处理xhr请求

文章/答案/技术大牛

发布

1回答

python、html、ajax、web-scraping

我需要从journal_url中抓取整个超文本标记语言，对于本例来说，它将是。我已经按照这个站点上的几个问题中显示的请求示例进行了操作，但是我没有得到requests.get的.text或.json()方法返回的正确的超文本标记语言。我的目标是显示整个HTML，包括每年下面的有序列表和数量下拉列表。

浏览 12提问于2017-08-18得票数 0

回答已采纳

1回答

到这个HTML中隐藏的详细页面的链接在哪里？

html、web-scraping

上面粘贴的代码是通过右键单击上面显示图像中可见的第一个完整div标记获得的，然后单击"Expand“，然后单击"Copy >Expand HTML>”。例如，在第一个div标记中，属性data-ref="body"在显示图像和粘贴代码中以不同的顺序出现，而在第二个div标记中，属性id="gridview-1012"以不同的顺序出现。现在，在第二个div标记的末尾，在</e

浏览 12提问于2022-06-24得票数 0

回答已采纳

2回答

由google bot (或冒充googlebot的东西)引起的Rails3上的奇怪异常

ruby-on-rails

昨晚我在我的网站上收到了一个异常，是由一个代理的请求引起的:googlebot。

浏览 0提问于2010-10-02得票数 5

回答已采纳

1回答

来自PhantomJS的HTTP请求？

javascript、phantomjs

在我的phantomJS脚本中，在使用幻影抓取HTML内容之前，我想发出一些HTTP请求，以便在Phantom中设置一些变量。从PhantomJS发出HTTP请求的正确方式是什么？我应该使用PageObject并像处理网页一样处理它吗？或者有没有什么XHR功能可以用来做这件事？我想先获取一些Json数据。

浏览 0提问于2013-09-06得票数 3

1回答

访问通过xhr请求获取的HTML源代码中所有脚本标记中的变量

javascript、html、json、ajax、xmlhttprequest

如何从通过xhr请求获取的页面的HTML源中的脚本标记中访问变量值。抓取页面的HTML...<script> </script> </html> 并通过xhr请求获取... var xhr = newXMLHttpRequ

浏览 11提问于2018-12-18得票数 0

回答已采纳

1回答

如何在Scrapy中模拟XHR请求以动态加载网页？

python、ajax、scrapy、web-crawler、scrapy-spider

我正在尝试抓取olx.in站点http://www.olx.in/newdelhi/bmw/，我已经将这个URL设置为start_url。现在要转到下一页，因为它不是普通的HTML，但是它是动态的，所以在network中，我看到next按钮用POST方法创建了一个XHR请求。现在我必须用请求方法来模拟它(我猜.)但我不知道它的参数是什么。我对python和web抓取非常抱歉，如果它太

浏览 4提问于2016-01-12得票数 1

回答已采纳

1回答

在XHR抓取中拦截XHR请求

python、python-3.x、ajax、web-scraping

我们如何截取和查看有多少ajax或其他内容在页面加载时被触发？

浏览 2提问于2022-06-23得票数 -1

1回答

如何使用Python从Jquery表中抓取

javascript、python、jquery、selenium、web-scraping

我正试着从这个中抓取前十项。我正在使用Python Selenium/BeautifulSoup。该表似乎正在使用jquery脚本进行加载。他们中的很多人说，检查元素中的Network来查找XHR数据。然而，这个网站在XHR选项卡中没有任何值加载，而是在JS选项卡中。t=1657108207的请求，但这似乎对我没有任何帮助。我是不是想得太多了，应该直接从html中<em

浏览 5提问于2022-09-13得票数 1

回答已采纳

1回答

抓取爬虫不处理XHR请求

python、web-scraping、xmlhttprequest、scrapy、scrape

我的蜘蛛只在前10页爬行，所以我假设它不是通过请求输入load更多的按钮。我正在刮这个网站：。

浏览 1提问于2015-05-20得票数 1

回答已采纳

1回答

在Javascript扩展中使用Node js抓取网页

javascript、node.js、google-chrome-extension、request、cheerio

我正在为Firefox创建一个javascript扩展，我想在其中使用一个刮板页面，找到一个子页面，并将该URL传递给扩展中的一个函数。刮板是使用Cheerio构建的，我已经在本地机器上使用Node.js创建并测试了刮板，但在扩展中实现它时遇到了问题。我知道最有可能的是，在浏览器中运行一个扩展，不会让你创建一个“请求”连接。当我调用抓取函数时，它没有给出错误，相反，它根本没有返回(也没有控制台日志，所以它不会触发)。有人知道如何在任何机器上的扩展中调用

浏览 18提问于2017-12-29得票数 0

1回答

使用Python抓取JavaScript内容

javascript、python-3.x、web-scraping

因为数据来自JavaScript，所以我参考了这个link并尝试抓取数据。然而，当我运行下面的代码时，新窗口不能正确显示网页。如果你能建议如何在这种情况下获得数据，我将不胜感激。path of your choice driver = webdriver.Chrome(executable_path = r'C:\Users\trey\AppData\Local\Programs\Python\Python36\Scripts\chromedriver') 我期望得到包含合约/交易散列/卖方

浏览 18提问于2019-03-30得票数 0

回答已采纳

1回答

scrapy :如何在URL中包含hashtag

character-encoding、scrapy、url-encoding

我有一个表单的URL在将其传递给scrapy.Request时在parse_result中使用它，就像这样 print(response.url)ht

浏览 3提问于2019-03-11得票数 0

1回答

如何在解析html文件时强制不发送其他请求？

javascript

我正在编写一个chrome扩展，它将GET请求发送到一个网站，并开始抓取作为响应返回的.html文件。当查看chrome DevTool中的网络部分时，我看到html发送了许多无用的(对我来说)请求，因为它们是网页逻辑的一部分。有没有办法在不创建所有这些间接请求的情况下直接读取和解析html文件？另一个请求的发起者是下面这行(正如chrome建议的那样)： htmlObject.innerHTML = xhr

浏览 10提问于2019-01-20得票数 0

回答已采纳

1回答

为什么XMLHttpRequest会被CORS策略屏蔽，而urllib正常工作？

javascript、http、web-scraping、xmlhttprequest、urllib

我有一个简单的Python代码来抓取一个网页，它可以工作：html = urlopen(url)我想要一个等同于JavaScript的东西，我试了一下：var xhr

浏览 0提问于2020-08-05得票数 0

1回答

只从网站获取JSON的一部分，我正在尝试使用Python，BeautifulSoup，请求抓取。得到62个回复中的20个

python、json、web-scraping、beautifulsoup、xmlhttprequest

我正试图在这个网站上寻找职位空缺： ‘来自bs4导入BeautifulSoup导入json导入请求 union = requests.get('https:/3bf1-4fb1-8a83-f92fa61499d3/JobBoardView/LoadSearchResults&

浏览 14提问于2019-11-03得票数 0

1回答

XHR请求响应流在IE中可用，但在Edge中不可用

javascript、xml、xmlhttprequest

如果您有时间，我正在对一个返回XML流的Tomcat servlet发出XHR请求。我一直在研究从XHRMSXML到ActiveX的转换规模。我合并了promises，因为ActiveX是同步的，而XHR是异步的。返回的XML很多，但XHR请求在IE 11中没有问题。Edge似乎挂起并停止执行。什么都没发生。另一个“较小”的XHR请求--抓取XSL --也没问题。Tomcat日志显示它处理<

浏览 2提问于2021-03-10得票数 0

1回答

如何检查发送到浏览器中获取动态内容的XHR？

python、json、xmlhttprequest

我需要检查哪一个XmlHttpRequests发送来显示上的动态数据，用Python进行抓取。在火狐我有请注意，我的browser / dev控制台中是否有不允许显示XHR列表的错误配置？或者有什么办法可以做到？

浏览 1提问于2018-02-06得票数 0

回答已采纳

1回答

抓取oddsportal信息

javascript、parsing、python-3.x、beautifulsoup、scrape

我使用的是Python3.5，实际上我关注的是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5抓取我只是想用Python代码抓取我需要的所有数据。我可以很容易地用BeautifulSoup从静态HTML中抓取信息。我最近也发现了如何从动态url中获取信息，使用Chrome的网络选项卡，并在XHR选项下查看出现的HTTPrequest。它通常会给我从JS生成的<em

浏览 2提问于2016-01-14得票数 1

2回答

我可以“排队”XMLHttpRequest函数吗？

javascript、xmlhttprequest

我需要获得可用文件的列表(存储在目录中)和处理的文件(存储在数据库表中)。 xhr.responseType = "json"; xhr</e

浏览 1提问于2016-01-11得票数 1

1回答

从进度条的lQuery ajax请求中获得部分响应？

javascript、jquery、ajax

我使用ajax请求调用php页面，然后php页面调用python脚本，python脚本在txt文件中写入完成工作的百分比，当然计算需要什么。从我的代码中，只有在ajax请求完成后才能访问txt文件，但这是没有意义的，因为它总是100%。$.ajax({ var xhr = new

浏览 0提问于2016-04-25得票数 0

回答已采纳

点击加载更多