导航表单并从网站抓取DOM元素(PHP，调试)

文章/答案/技术大牛

发布

2回答

php、guzzle、goutte

我是PHP的新手，只需要填写几个表单就可以从网站上抓取一些基本信息。但是，我在查找问题(可能有一大堆问题)时遇到了问题，因为我找不到一种方法来显示或控制台记录任何结果或问题。php use GuzzleHttp\Client as GuzzleClient; { public

浏览 27提问于2019-10-06得票数 0

2回答

是否使用SimpleHtmlDOM +登录？

php、login、screen-scraping、security

我使用SimpleHtmlDOM PHP相当成功地抓取了一些我最喜欢的网页。然而，其中一些页面要求我先登录，然后才能获得我真正关心的信息。

浏览 0提问于2010-07-27得票数 1

回答已采纳

1回答

这个“过程”叫什么，我可以研究它？

php

基本上，我想要做的是使用PHP在另一个页面上自动填写表单。假设它转到Facebook.com，登录文本框被命名为“username”。我想知道如何根据按钮的名称按下按钮，并按名称在文本框中输入文本。

浏览 0提问于2012-09-12得票数 0

回答已采纳

3回答

为什么我不能从这个网站上刮掉标题？

php、html、simple-html-dom、scraper

我使用simple-html-dom从指定的站点上抓取标题。我尝试过的任何其他网站都能正常工作，例如apple.com。但是如果我输入，它不会输出任何东西。Pottermore上有flash<em

浏览 0提问于2012-07-13得票数 3

回答已采纳

1回答

访问从其他源加载的iframe的内容

jquery、dom、iframe

使用jQuery并通过Chrome扩展，我试图访问iframe的内容，它是从PHP脚本动态加载的，并从不同的源加载。如果我尝试相同的代码1.通过Chrome扩展2.当页面加载时3.不通过DOM导航来查找元素，我就会得到关于如何使用扩展来访问ifram

浏览 19提问于2019-08-13得票数 0

回答已采纳

1回答

PHP简单HTML DOM解析器长时间加载网站

php、html、parsing、dom、simple-html-dom

我要抓取的网页有一个~5-10秒的加载时间，因为数据量很大。是否有机会等待网站完成加载，然后抓取屏幕。我的代码是：error_reporting(0); include_once('..

浏览 4提问于2014-07-14得票数 2

2回答

来自网站的Selenium服务器

php、curl、selenium、webforms、screen-scraping

我正在尝试自动填写几个在线表单(每个表单都需要登录)，但我不想在本地机器上完成，而是从一个网站上完成，这样我的员工也可以使用它。这将节省我们的时间，因为我们目前填写了8-10个不同的表单，都使用相同的基本数据。我已经研究了表格填写软件，但我真的希望这一点由一个服务器在后台完成。我不认为CURL能够处理每个网站使用的DOM元素的数量，有些网站还使用那些花哨的ajax元素。我很擅长写PHP，我最初的想法是我可以用PHPu

浏览 0提问于2014-05-02得票数 0

3回答

用于提交表单和存储返回结果的简单PHP web爬虫

php、web-crawler

在表单中填写一个字段(我知道输入元素的id和名称)，提交它并存储结果。任何帮助我们都将不胜感激

浏览 0提问于2013-03-15得票数 1

回答已采纳

1回答

在PHP中，如何抓取某个文本模式的DOMDocument，然后获取匹配文本的文本节点的父元素？

php、xml、parsing、simplexml、domdocument

我已经用PHP和cURL构建了一个简单的web抓取工具，并且一直在使用这样的代码来通过ID抓取抓取页面的某些元素，或者在所需元素上没有ID的情况下通过标记名抓取：@$dom->loadHTML($response);

浏览 1提问于2011-03-09得票数 0

回答已采纳

3回答

如何通过哈希获取URL的内容？

php、hash、web-scraping

我正在尝试使用file_get_contents()获取url的内容，如下所示：这很好用，但我还必须获得如下所示的页面内容：http://www.website.com#somevalue，但是，如果我使用与上面相同的方法，它只返回与没有散列相同的内容。可以获取更新的内容吗？我假设他们正在使用主干或其他类型的路由来处理此问题。

浏览 2提问于2012-11-11得票数 1

回答已采纳

1回答

登录网站(单击登录时删除用户名和密码)

html、vba、internet-explorer

我正在使用以下代码输入用户名和密码到网站并登录。它可以很好地输入用户名和密码详细信息，但是，当代码运行时单击sign in按钮时，用户名和密码都会被擦除，页面会被重置以再次询问帐户详细信息。

浏览 20提问于2020-01-12得票数 0

4回答

从php解析网页

php、parsing、parse-url

我正在努力建立我的新网站，但我找不到最好的方法来做一些解析。我正在做的是尝试解析网页的评论(最后3个)，“What new”页面，权限页面，和右栏(具有评分等的页面)。

浏览 0提问于2012-01-04得票数 1

回答已采纳

1回答

使用扭曲的网页登录到网页

python、login、web、client、twisted

我想写一个简单的网络客户端使用扭曲，登录到一个网站的用户名和密码，并从一个给定的页面抓取一些数据。做这件事最好的方法是什么？编辑:添加更多细节:这是一个简单的用户名/密码HTML表单提交。有一个PHPSESSID cookie涉及，这是一个PHP网站。没有验证码。无HTTP身份验证。

浏览 0提问于2012-11-13得票数 1

回答已采纳

1回答

在角更新src="URL“时，注入的CDN脚本不再执行

javascript、html、angular、browser、cdn

我正在使用DOM操作从第三方CDN注入样式和脚本。但是，我的网站是多语种的。因此，在语言改变时，我会抓取链接和脚本标签，并使用它们的ID。然后，我尝试用以下2种方法将"language“参数从"EN”修改为"FR“，但没有一种方法起作用：我抓取了链接和脚本标签的ID，并从DOM中删除了这些元素，并向链接和脚本元素</e

浏览 3提问于2022-09-12得票数 1

1回答

在AJAX加载后向DOM元素提供焦点

jquery、ajax

我正在通过AJAX加载表单..。它确实加载了表单，然后返回对"this“的引用，这样链接就可以继续了。="text"> 如果我在加载之后进入调试器，运行此脚本(因此在加载模板之后)并从调试器运行"jQuery("#input_form_container").find (‘. for focus:first’).focus()；“它通过突出显示该字段并返回DOM引用以供以后的链接。，它重新加载模板，并返回对正确

浏览 4提问于2012-10-01得票数 0

3回答

PHP XPath查询不返回任何内容

php、xpath、domxpath

我最近一直在使用PHP中的DOMXpath，并取得了成功，试图获得更多的经验，我一直在玩抓取不同网站的某些元素。我在从这个网站上删除天气标记时遇到了麻烦。theTemperature']$url = file_get_contents('http://www.theweathernetwork.com/weather/cape0005'); @$<e

浏览 0提问于2013-01-25得票数 2

回答已采纳

1回答

在c#中网页浏览器的InvokingMember有问题吗？

private void location() webBrowser1.Document.GetElementById("searchInput").SetAttribute("value", "Dick's Sporting Goods"); { webBrowser1.Document.GetElementById("location_98229424").InvokeMember(

浏览 0提问于2015-07-25得票数 1

3回答

使用PHP解析HTML以获取多篇同类文章的数据

php、parsing、dom

我在一个网站上工作，它解析优惠券网站，并列出这些优惠券。有一些网站将它们的列表以XML文件的形式提供--这没有问题。但是也有一些站点不提供XML。我正在考虑解析他们的网站，从网站内容中获取优惠券信息--用PHP从HTML中抓取数据。例如，您可以看到以下站点：我正在使用PHP。

浏览 1提问于2011-12-18得票数 1

回答已采纳

6回答

网络抓取和网络抓取有什么不同？

search-engine、web-scraping、web-crawler

爬行和网络抓取有区别吗？如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？

浏览 2提问于2010-12-02得票数 96

回答已采纳

1回答

有没有办法在服务器上运行asp.net浏览器控件？

javascript、c#、html、asp.net、vb.net

VB.NET 3.5 演示如何在客户端上使用带有web浏览器控件的表单执行此操作，但是是否有一种方法可以在服务器上完成(因为当客户端从某个aspx页面导航时，我们的进程无论如何都是在后台线程中调用的)？

浏览 1提问于2017-02-21得票数 0

回答已采纳

点击加载更多