我是python的初学者，我需要抓取餐馆的名称，社会经济地位，客户的名字，审查日期，滴度审查和10到40页的审查只有一家餐厅(python3.7和美丽的汤)。但当我打开csv文件时，我只有第一个审阅者的所有信息。这是我的代码：csv_file = open("lebouclard.csv", "w", encoding="utf-8"
浏览 9提问于2019-08-19得票数 0
回答已采纳
1回答
我想通过python和漂亮的汤来刮亚马逊交易页面，但是当运行代码时我没有得到任何结果，但是当在亚马逊的其他页面上尝试代码时，我得到了结果。
浏览 1提问于2020-03-18得票数 1
回答已采纳
之前在PGA网站的页面上发布了一篇关于刮表的文章。总之，由于这个页面使用javascript呈现页面和表的方式，所以领导板表很难抓取。我可以检查并在标记中看到有一个包含有用信息的对象global.leaderboardConfig：是否可以在R中以列表的形式得到这个对象？我能够使用xml2::read_html('https://www.pgatour.com/le
浏览 3提问于2021-04-16得票数 6
回答已采纳
我熟悉从网页抓取数据的BeautifulSoup和urllib2。但是，如果在返回我想要抓取的结果之前需要在页面中输入一个参数，该怎么办？我正在尝试使用这个网站获取两个地址之间的地理距离：
我希望能够转到页面，输入两个地址，单击“显示”，然后提取“按乌鸦飞的距离”和“按陆路运输的距离”值，并将它们保存到字典中。
浏览 2提问于2011-08-13得票数 8
回答已采纳
下面是我正在尝试抓取的页面的链接： https://www.simplyhired.ca/search?+analyst&l=Vancouver%2C+BC&job=grivOJsfWcVasT2RpqgQ_YBEs-tw6BCz9INhDIHbT92XtKCbBcXP8g%27 更具体地说，我试着去掉页面上的当我打印soup对象时，我没有看到右窗格的HTML代码。 关于如何访问这些元素有什么想法吗？ 提前感谢！
浏览 22提问于2021-04-28得票数 1
1回答
所以我想抓取以下2个产品的信息: 1. 2.第2号产品提供“自动发货，所有订单节省5%”当我爬行这个页面时，关于提供部分的"div“没有显示，所以我认为这个信息是由ajax加载的。现在我的问题是:在使用chrome dev工具使用XHR过滤器检查“网络”之后，两个URL只发送一个包含看似无用的信息的请求。
那么优惠<e
浏览 2提问于2016-02-16得票数 0
我的服务器上有一个index.php文件。谷歌会抓取这个并检索信息。
我还有一个名为product.php的文件。这将动态地从数据库获取内容，以填充所有内容。谷歌只是爬行product.php，还是爬行从使用product.php作为模板的数据库中填充的每一个页面？
浏览 0提问于2016-03-23得票数 1
1回答
我正在开发一个网络刮刀，我需要从一个页面下载一个.pdf文件。我可以从html标记中获取文件名，但无法找到下载该文件的完整url (或请求体)。我试着用chrome和firefox网络流量工具和wireshark来嗅探流量，但没有成功。我可以看到它向与页面本身完全相同的url发出了一个post请求，所以我不明白为什么会发生这种情况。我猜文件名是在POST请
浏览 5提问于2016-06-15得票数 3
回答已采纳
1回答
如何查找动态加载内容的源
、、、、
我想在中抓取条目。它显然是在页面加载后由javascript填充的，因此，我不想(使用类似于webdriver的东西)来抓取数据，而是直接从javascript正在与之交谈的任何服务中请求数据。使用chrome的网络选项卡，我以为我已经将其缩小到了xhr POST到https://www.oregon.gov/oha/ERD/_vti_bin
浏览 3提问于2020-10-18得票数 0
回答已采纳
1回答
web抓取设计-最佳实践
、、、
在我的过去，我已经实施了几个网络抓取项目--从小到中等大小(大约100.000页)。通常，我的出发点是一个索引页面，它链接到几个页面，其中包含我想要抓取的详细信息。最后，我的项目大部分时间都在工作。通常，我会建立我的网络抓取项目，像这样：
I标识一个起点，其中包含我希望从其中刮取数据的urls。起点有一个相当可预测的</
浏览 4提问于2021-02-24得票数 0
回答已采纳
d=9H3mkymBtDwEocEoKm-S4A2&t=634093400273197793背景-
作为我们订阅的网站监控服务的一部分，我们已经为我们的网站“记录”了几组用户操作。例如，我们记录了登录网站的过程。监控器现在说用户登录过程失败(它工作正常)，因为它找不到具有它记录的it的WebResou
浏览 11提问于2012-12-22得票数 3
回答已采纳
我可以在Chrome Devtools的网络选项卡中保存特定的请求吗？这对我来说将是非常有用的，因为我们公司使用网络爬虫从外联网获取信息，我最多能做的是记录(用rec按钮)所有的请求，以达到特定的信息，如果我想保存所需的请求/响应在一个文件中以供以后分析，我所能做的就是将其保存为.h
浏览 0提问于2014-04-09得票数 13
我在做一个从网站上抓取数据的练习。例如，。我试图获得所有保险供应商的名单和他们的计划(你可以访问这些信息在他们的主页在保险下拉列表)。
在页面加载时，所有数据似乎都是通过<scipt>标记加载的。当查看“网络”选项卡时，似乎没有任何返回JSON的网络调用，包括计划名称。我可以让所有的保险计划使用以下(这是混乱
浏览 2提问于2016-07-25得票数 1
回答已采纳
HTML由一系列没有id/name属性的嵌套DIVs组成。是否可以使用HTMLAgilityPack从这些变量中检索数据？如果是这样的话，我该如何去做，如果不是需要什么，正则表达式？如果是后者，请帮助我创建一个允许我这样做的正则表达式。谢谢。
浏览 0提问于2011-06-11得票数 4
回答已采纳
1回答
XStream中的序列化问题
、、、、
所以我在序列化我的Java代码时遇到了问题。这是一个网络抓取器，从我们学校的选课网站上为我正在做的一个项目抓取页面，我试图将指定科目的所有课程信息输出到一个XML文件中。问题是，有些类有多个部分，而不是仅仅重写这些文件名和浪费空间，我希望它们都保留在XML中称为"Sections“的部分下。你知道我的代码出了什么问题吗？这里有一个指向要
浏览 2提问于2012-10-26得票数 1
回答已采纳
我从peoplefinders.com上抓取数据，这是一个无法从我的国家访问的网站，所以我基本上是在使用一个虚拟专用网络客户端。我用会话帖子登录这个网站，通过同一会话，我从同一网站的不同页面获得项目。问题是，我在一个带有get请求的for循环中进行了抓取，但由于某些原因，我在几次迭代后收到了响应400错误。错误发生在平均抓取4-5页之后。
是不是因为我使用了vpn
浏览 1提问于2017-02-07得票数 1
在Chrome中，您可以访问developer > network，查看该网站提出的所有请求。有更简单的方法吗？
浏览 1提问于2022-03-14得票数 -2
我已经做了一个扩展，它将跟踪一个人在漫画网站上阅读的漫画，并在他们最爱的网页上列出他们最后一次阅读的章节。最近，我提出了一个有用的特性来使扩展更好一些。我想给用户的选择，以便能够只跟踪漫画，他们在网站上的最爱。因此，当他们阅读时，扩展将不断地检查背景，如果是在他们的最爱，如果是，然后保存它，如果没有，不要保存它。该网站有一个收藏页，其中包含了一个人收藏的所有漫画的列表。我想要能够不断地抓取每一个漫画
浏览 6提问于2014-12-04得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
