使用VBA代码进行Web抓取:如何浏览登录页面？

文章/答案/技术大牛

发布

1回答

excel、vba、web-scraping

我是编程新手，正在尝试自动浏览网站。我可以让代码运行并自动登录成功，但是一旦它到达下一个页面，我就无法与任何元素交互。在下面的示例中，我希望宏在登录后单击“高级搜索链接”。当我运行代码时，我得到一个“运行时错误91: Object variable or With block variable not get”。代码： Private Sub CommandButton7_Click() Dim H

浏览 36提问于2021-10-20得票数 1

1回答

无法将HTTP Post请求发送到登录窗体？

java、http、post、login、request

这是我的代码： e.printStackTrace(); return sb.toString();但是，每当我尝试通过http post请求登录时，它都会返回始终位于该站点页面上的html代码，而不是包含我的用户页面的特定html<

浏览 0提问于2012-03-31得票数 2

回答已采纳

1回答

如何将用户名和密码从Windows应用程序发布到网页以获取特定于用户的内容？

c#、.net

我想从网页获取数据使用C#和.NET。但页面需要登录。登录页面的HTML代码如下所示(页面将数据发布到自身)：<input type="submit" value="Send"> </form>

浏览 0提问于2019-01-12得票数 0

1回答

在VBA中用Edge替换IE位

excel、vba

为了为IE11的最终“消失”做准备，我一直在尝试找出如何替换我的代码的几个部分。一种是启动IE并使用该浏览器抓取一些页面。在Edge中有没有等效的方法来做下面的事情？

浏览 0提问于2021-05-21得票数 1

2回答

如何找到正确的用户名和密码标签？

java、php、html、screen-scraping

我想抓取这个网站：，但这里有一个登录系统。我正尝试在原生Java应用程序中使用htmlUnit (稍后可能用于安卓系统)。但是我不明白如何找到合适的标签来允许用户在我的程序中输入他们的信息。

浏览 1提问于2014-04-05得票数 0

1回答

从html页面不显示数据的url读取数据

beautifulsoup、python-3.5

我正在尝试以下代码：if __name__ == '__main__': link = "https://bibles.org/bible/555fef9a6cb31151如何提取它们？

浏览 1提问于2020-02-05得票数 0

3回答

如何在网页抓取时登录网站

python、beautifulsoup、youtube

我正在制作一个web刮刀，它可以将我的YouTube频道统计数据带回到python中，所以我去了我的YouTube站点，复制了这个链接并用bs4粘贴它打印了汤。我完成了整个测试，并创建了一个html文件，当我查看它时，它是YouTube登录页面。因此，现在我想登录这个(假设我可以在文本文件中提供密码和电子邮件id )，以便刮除yt的统计数据。我不知道这个(我对网络抓取是新的)。

浏览 3提问于2021-01-24得票数 0

回答已采纳

1回答

如何知道在抓取时使用哪些标签？

python-3.x、web-scraping

抓取时有没有使用哪些标签的逻辑？现在，我只是在对不同的标签变体进行“反复试验”，看看哪种标签是有效的。这需要很多时间，而且真的很令人沮丧。我不能理解为什么有些标签能工作，有些不能。例如，下面的代码运行良好：from bs4 import BeautifulSoup test1 = soup.find_all('div&

浏览 0提问于2020-05-25得票数 0

1回答

在IE11停止使用后，Web bowser自动化替代方案是什么？

powershell、web-scraping、com、internet-explorer-11、browser-automation

在过去的10年中，我已经构建了一些业务关键型IE11自动化工具，它们使用Internet Explorer的COM对象来自动化繁重的任务。特别是用于web抓取目的的页面导航等任务，以及用于自动化业务流程的JavaScript执行。随着IE11即将停产，web浏览器自动化的替代方案是什么？我有用VBA，vbscript和PowerShell写的代码

浏览 2提问于2020-08-20得票数 1

1回答

在IE中打开url，然后使用python抓取url

python、windows、internet-explorer、web-scraping

我是python (c++开发人员)的新手，我正在尝试做一些在windows IE上进行web抓取的动手操作。我面临的问题是，当我使用"requests“库打开一个URL时，服务器总是会给我一个登录页面。我发现了问题所在。它实际上是这样做的，因为它假设你正在通过IE尝试执行函数，该函数使用来自SSO (单一注册对象)的一些信息，该SSO在Windows中的后台执行，在第一次登录到web服务器时(请考虑这是一些奇怪的设置)在观

浏览 1提问于2016-06-17得票数 0

1回答

我可以在Scrapy中刮一整页，但未能使用xpath找到DOM元素

python、web-scraping、scrapy

我是Python的完全初学者，我想用scrapy从抓取一些图像with open('baiduImage.html', 'wb') as f:这似乎是一个完整的页面，所有元素在Chrome中都表现良好，但我没有使用 f.write(response.xpath('/html/body').extract()[0我想原因是页面是动态的。

浏览 2提问于2014-11-17得票数 0

回答已采纳

2回答

以编程方式设置已解析的jsoup网页的值

java、jsoup

我使用JSOUP解析了页面，并了解了输入文本字段。我使用了以下代码： for (Iterator<Element> iterator = elements.iteratorSystem.out.println(elements.attr("name")); System.out.println(elements.attr("value")

浏览 7提问于2013-08-16得票数 0

回答已采纳

1回答

爬虫-如何抓取帐户/密码保护的网站？

r、web-scraping、web-crawler、web-mining、rcrawler

问题是，在GitHub页面上，没有提到如何通过帐户/密码保护来抓取一个站点。登录的一个例子如下：你知道Rcrawler是否有这个功能吗？4, ExtractCSSPat = c(".entry-title",".entry-content"), PatternsNames = c("Title"

浏览 1提问于2018-07-09得票数 1

1回答

幻影--网络安全=否

security、phantomjs、casperjs

在幻影文档中，有一个选项可以关闭web安全并允许XHR (跨域请求)。如果您用用户名和密码等凭据填充表单，然后用casper/幻影下载屏幕截图，这会给用户带来安全风险吗？

浏览 4提问于2015-06-03得票数 2

回答已采纳

4回答

在IE11于2012年6月结束后，VBA的互联网控制功能会发挥作用吗？

excel、vba、internet-explorer-11

正如标题所问的，我使用的某些工具依赖于带有Internet控件的VBA代码来对IE页面进行web抓取和控制。随着明年IE11的生命周期即将结束，有谁知道这将如何影响VBA中的互联网控制，或者它是否仍将发挥作用？试图弄清楚我们是否需要加速转换到另一种语言。未安装IE，VBA Internet Controls功能无法启动IE。这是我见过的唯一一件事，但我想知道是否有人有这方面的经验？

浏览 36提问于2021-09-14得票数 6

1回答

asp.net mvc应用程序中的网络浏览器托管问题

asp.net-mvc、web-scraping

在我的Asp.Net MVC web应用程序中，我必须通过网站从站点获取数据。对于刮取数据，我需要登录到站点，然后通过单击菜单选项卡到达一个站点，然后从该页面中刮取数据。该站点的刮除包含2帧。我以前通过windows控件在我的一个windows项目中实现了web抓取。我遵循以下将web浏览器控件集成到我的web应用程序中。在visual环境下，一切都很好，我通过web浏览器抓取网站上的数据。但是当

浏览 3提问于2013-07-18得票数 6

4回答

是否可以使用C#以编程方式登录网站？

c#、web-crawler

有没有可能编写一个C#程序，加载一个网页，传递网页表单参数进行登录，然后单击一个链接并下载页面信息？显然，我会提供用户名和密码。在上下文中，假设我想检查我的学校帐户上是否有任何新的新闻更新，我必须使用我的学校用户名/密码登录。我是否可以为我的程序提供所需的信息，并以某种方式让它将这些参数传递给webform，然后继续沿着页面进行操作？

浏览 0提问于2010-01-09得票数 5

回答已采纳

2回答

除非启用了Javascript，否则使用php函数

php、javascript、ajax

我有一个网站，将抓取新的数据在第一页访问。我想使用AJAX来做这件事，这样我就可以在抓取过程中向用户提供至少一些loading.gifs，但这只有在启用了Javascript的情况下才能实现。我的站点使用了一个PHP模板引擎，所以我想把抓取函数放在html模板的<noscript>标记中。因为这将在所有PHP代码之后发生，所以我必须重新加载页面，以便可以使用PHP呈现/解析抓取的数据。

浏览 0提问于2011-01-16得票数 1

1回答