获取与浏览器检查选项相同的网页数据

文章/答案/技术大牛

发布

2回答

python、html

当我访问以下网站：https://www.bvl.com.pe/mercado/movimientos-diarios并使用Selenium的page_source选项或urllib.request.urlopen时，我得到的字符串与我转到Google Chrome时得到的字符串不同，并在上下文菜单中打开INSPECT选项并复制整个内容。从我的研究中，我了解到它与在网页上运行的Javascript有关，我得到<e

浏览 17提问于2021-05-04得票数 1

2回答

如何从密码网站中获取准确的信息

python、web-scraping、beautifulsoup、python-requests

我一直在开发一个网络刮刀来刮CoinEx网站，这样我就可以在我的程序中进行比特币的实时交易了。我刮了链接，我希望得到与class_=“滴答-项目”相关的所有信息，但返回的是"--“。我认为这是一些与刮刮政策，但有什么办法，我可以绕过这一点。喜欢模仿普通浏览器的任何东西。我也尝试使用标题，但结果是一样的。我的守则：from bs4 import BeautifulSoup

浏览 7提问于2021-07-24得票数 0

回答已采纳

1回答

相同的https请求在浏览器和cURL/Node.js中得到不同的响应。

web-scraping、curl、captcha、cloudflare

我试图从一个允许在他们的robots.txt文件中抓取数据的网页中抓取一些数据。为了获得我想要的数据，我查看了web页面在加载时发送的API请求，并确定了感兴趣的API请求。如果我复制Brave -> Network选项卡中看到的请求URL并将其粘贴到新选项卡中，我将得到与网页加载时获得的数据相同

浏览 4提问于2022-03-29得票数 0

回答已采纳

1回答

右击选项消失在开发工具检查模式铬浏览器

google-chrome、plugins、devtools、right-click、web-inspector

右键单击选项消失开发工具检查模式铬浏览器，它们没有显示在开发工具浏览器上。我已经安装了一些铬的扩展，最近开发了一个。此外，谷歌铬有一个反向图像搜索选项，在最后一个版本，当你右击网页的元素，如图像。但是当我打开devtool检查模式时，右键单击选项就消失了，只显示了有限的选项。有人对此提出解决办法吗？如下图所示。没有选择开发工具的(开发人员检查模式

浏览 6提问于2021-11-04得票数 0

3回答

如何让WGET下载与浏览器完全相同的web页面html

wget

使用浏览器(IE或Chrome)，我可以用Ctl保存网页(.html)，使用任何文本编辑器检查它，并以表格格式查看数据。其中一个数字是我想要提取的，但对于很多，很多网页，太多的手工操作。因此，我想使用WGET一个接一个地获取这些网页，并编写另一个程序来解析.html并检索我想要的数字。但是WGET在使用与浏览器相同的URL时保存的</em

浏览 0提问于2014-01-27得票数 47

2回答

同时检测从多台计算机访问的一个帐户

7、users

我需要检测成员访问同一帐户从不同的计算机或网页浏览器在同一时间与相同的电子邮件和密码？是否有任何选项或模块来获取这些信息？

浏览 0提问于2012-05-15得票数 2

回答已采纳

1回答

如何解析具有更新的DOM的html？斯威夫特

javascript、swift、html-parsing、nsurlsessiondatatask、swiftsoup

我是相当了解编码和解析html数据从一个网站管理员。问题是，当我查看网站时，我可以手动检查的元素与源代码有很大不同。我理解这是因为“检查元素”显示了在浏览器应用其纠错和任何Javascript操作了DOM之后DOM树的状态。print(type) } catch { }} 我的问题是:当我手

浏览 14提问于2021-08-19得票数 0

1回答

http获取基本身份验证-使用浏览器凭据

javascript、http、authentication

我有我的网页后面的nginx代理与基本身份验证设置。Web页面使用ajax调用(使用fetch)从相同的域获取一些数据：当我访问页面时，浏览器要求我提供用户和密码(std。浏览器特性)，正确地获取所有资源(html、js、css)，但是当我的js使用fetch来获取一些数据时

浏览 0提问于2018-03-13得票数 1

1回答

使用QNetworkRequest和QNetworkAccessManager检索页面时，浏览器和代码的结果不匹配

qt、web-crawler、qnetworkaccessmanager

我遇到的问题是(对于某些页面)我会以编程方式或通过浏览器“手动”访问页面来获得不同/不匹配的结果。我总是得到非常正确的HTML页面，但在我看来，它们就像是某种“蜘蛛保护”的答案。我所指的页面不是POST页面，我测试的是非常简单的url页面，有时带有参数(例如www.sample.com/index.php?readAll(); qDebug() <

浏览 0提问于2012-09-06得票数 2

回答已采纳

1回答

从公共Google工作表中抓取数据-相同的url用于不同的选项卡

r、web-scraping、rvest

我想从Google页面的公共网页上抓取数据。这是。我对第四个选项卡“美国每日下午4点ET”中的数据特别感兴趣，但是该标签的网址与所有其他选项卡相同(至少根据我尝试过的浏览器的地址栏--包括Chrome和Firefox)。当我试图使用R中的rvest包刮取数据时，我最终得到了第二个选项卡“”中的数据</e

浏览 1提问于2020-03-15得票数 0

回答已采纳

1回答

为什么由AJAX发送帖子被HTTP解释为选项，而CURL发送则实际上是PUT？

javascript、json、ajax、http

我正在测试我用C++和Boost库开发的HTTP。更具体地说，我正在测试一个端点，其中PUT接收到JSON。类型: application/json”-H“内容-长度: 34”-H“连接:关闭”-X PUT -data "@response_json“ alert(http.responseText);

浏览 3提问于2016-03-24得票数 1

回答已采纳

1回答

谷歌工作表中的ImportXML函数，用于提取特定数据

google-sheets、google-sheets-formula

我无法从以下页面导入ImportHTML表(这是网站禁止的)： 

浏览 13提问于2021-03-11得票数 0

1回答

Python获取请求并从搜索中检索数据

python、search、python-requests

我试图使用请求模块从这个网站检索数据：r = session.post('https://toelatingen.ctgb.nl/',data=data) 不幸的是，body_data的内容不包含搜索到的信息。

浏览 1提问于2018-11-13得票数 0

回答已采纳

2回答

在Java中读取网页中的HTML源代码时，某些字符不能正确显示

java、html、character、symbols

我将保持这个问题的简明扼要。我有一个函数，它将URL作为字符串读取，并返回网页的HTML源代码的字符串。"line.separator")); }这似乎是字符集的问题。我使用

浏览 25提问于2016-08-31得票数 0

2回答

用Beautiful Soup解析Edabit - Python

python、meteor、beautifulsoup

我正在尝试编写代码，通过解析与网站上的用户关联的单个url来完成Edabit的挑战，从而获得XP的数量。我认为这个网站是用流星做的，这可能会造成问题？任何帮助都非常感谢。

浏览 30提问于2020-04-26得票数 0

1回答

相同的样式值，相同的元素，但在同一浏览器上计算值不同

javascript、html、css、computed-style、computed-values

我正在开发一个chrome扩展，它可以返回任何元素的font-size属性。我正在将ajax响应数据加载到扩展文档中并计算它们的属性。现在发生了一些奇怪的事情，我找不到原因。我在我正在分析的网页上有一个标题标签。网页上的样式选项卡(检查元素)显示其字体大小为2em，计算值为32像素。现在，当我在chrome扩展中加载相同的页面时，扩展上的样式选项

浏览 2提问于2015-01-18得票数 0

1回答

使用javascript/jquery打开Internet中的POST数据链接

javascript、jquery、internet-explorer、redirect、post

我试图使用JS通过来自任何其他浏览器的POST请求在中启动一个URL (即从firefox/chrome/safari打开IE )。我的网站运行谷歌铬。在我的一种方法中，我向客户端的API发布了一个请求，它返回到另一个网站的URL。客户端要求我通过POST请求在中自动启动这个URL。现在我知道如何通过post请求启动URL，但是它在google的一个新窗口中启动URL。我在这里的问题是，如何通过中的POST启动这

浏览 0提问于2019-07-24得票数 1

回答已采纳

1回答

在firefox中，web控制台和浏览器控制台有什么区别？

javascript、firefox

在firefox 48中，web控制台和浏览器控制台有什么区别？他们看起来挺近的。为什么是两台游戏机？ 浏览器控制台 -接收错误信息。

浏览 5提问于2016-08-14得票数 7

回答已采纳

2回答

访问web元素的最快方法

python、brute-force

(只是一个本地托管的面板)。有人知道一个更好的方法来做这件事，也许没有一个自动浏览器？对于任何想知道的人来说，我试图找到两个元素，并且没有api等等，所以我假设我不能通过python中的请求库来完成这个任务。

浏览 0提问于2018-06-15得票数 1

回答已采纳

3回答

通过移动浏览器检索IMEI号码/ sim号码/手机号码

android

这是为了跟踪相同的设备与相同的SIM，并提供他/她的下一个级别的访问。无法使用loginid跟踪用户，因为在我的页面中没有用户登录类型的选项。问题是如何通过移动浏览器为特定的移动设备获取唯一的设备id/sim id。目前，我的重点是基于android的移动设备。但目标是使它与设备通用。如何从调用的</

浏览 15提问于2011-09-14得票数 16

点击加载更多