我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和ch
浏览 0提问于2020-05-29得票数 0
如果网站使用AJAX和JavaScript加载内容，则可能很难从站点中抓取数据。数据可以动态生成并存储在JavaScript变量中，使web刮刀无法访问数据。
浏览 7提问于2022-05-11得票数 0
4回答
我想从一个网站上有TextFields，按钮等抓取数据。我的要求是填写文本字段并提交表单以获得结果，然后从结果页面中抓取数据点。(编辑)
我的要求是从ComboBoxes中选择值并单击search按钮，然后从结果页面中抓取数据点。附注:我正在使用selenium Firefox驱动程序从<
浏览 1提问于2013-05-28得票数 8
回答已采纳
我是自动从网站的数据抓取。现在的网站只需要第一次登录。之后，如果你打开网站，它已经登录了。但是，当我使用selenium访问网站时，每次我通过selenium访问它时，它都会请求登录。我如何使用常规的chrome浏览器，其中它已经登录，使用selenium？或者还有别的选择吗？
浏览 10提问于2021-12-09得票数 1
2回答
我正在尝试抓取数据，但他们会给我一个错误，这是网站链接https://www.dastelefonbuch.de/Suche/Zahnarzt from selenium import webdriver
浏览 22提问于2021-11-18得票数 0
回答已采纳
我试着从booking.com上提取评论 URL = "https://www.booking.com/hotel/ph/oyo-518-mytown-amsterdam-manila.en-gb.html275784337_2_0_0__139646;srepoch=1632033539;srpvid=af482ec1c5c20263;type=total;ucfs=1&#tab-reviews" 我使用的是我从浏览器上逐字复制的
浏览 7提问于2021-09-20得票数 0
在创建我的第一个爬虫时，我想检查网站是否使用了某个框架。我知道我可以使用SplashRequest来使用无头浏览器来呈现它，但这样做效率不高。我如何才能弄清楚哪些网站需要通过Splash，哪些网站不需要这样做，而不是真正制作无用的SplashRequests？
谢谢!
浏览 3提问于2021-03-26得票数 0
2回答
我仍然是python的业余爱好者，我正在尝试从一个使用selenium的网站上抓取数据。Low 1.29775</span> </small> </div> </div> </li> <script type="application/ld+json">
正在尝试从上面的html代码获取数据browser.find_element_by_
浏览 2提问于2019-10-22得票数 0
2回答
基于日期抓取表数据
、、、
我正在尝试抓取kurs事务的表
从2015-2020年，但问题是默认日期和我选择的日期之间的链接仍然是相同的。那么我如何告诉python从2015-2020(20-11-15-20-11-20)抓取数据呢？我对python和python3的使用非常陌生。
浏览 0提问于2020-11-24得票数 0
我正在使用Selenium自动化一个网站。首先，我用C#打开主网站。然后，我手动单击以从主站点打开新窗口。现在，我想要抓取这些新窗口的数据。这不是问题。问题在于，Selenium似乎需要一个窗口来聚焦来刮掉它。在抓取之前，我目前使用SwitchTo方法。当您切换时，新窗口会弹出到前面，并从其他窗口窃取焦点。有没有一种方法可以在不聚焦的情况下抓取窗口？
浏览 0提问于2017-12-04得票数 1
我知道如何解析网页之类的，但我从来没有花时间通过python登录一个网站。
现在，这带来了一个问题，因为我需要登录到我的Microsoft Live个人资料来获取我的统计数据。所有我需要的是有人告诉我如何传递我的用户名和密码到登录页面，然后加载它重定向到的页面。每次我尝试时，我都会得到html数据，告诉我Javascript没有启用。
浏览 10提问于2017-03-13得票数 1
4回答
几天来，我一直试图从大约500个Facebook URL中筛选出一些城市(但没有成功)。然而，Facebook以一种非常奇怪的方式处理数据，我无法弄清楚引擎盖下发生了什么事情来理解我需要做什么。这个问题非常严重(与Python相关)的原因是，当我试图用“漂亮汤”或“机械”刮页时，我不知道如何让程序“假装”我已经登录了一个帐户。这意味着我可以轻松地从第一种类型的链接(其中不到10种链接)获取数据，但是我不能让城市脱离第二种或第三种类型。到目前为止，我已经尝试了许多解决方案，但收效甚微。"about
浏览 6提问于2013-09-27得票数 12
回答已采纳
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。
浏览 5提问于2015-04-16得票数 13
我有一个flask应用程序，它的端点使用selenium和铬驱动程序。我使用此代码来抓取angular网站的网页，创建一个json并将其提供给客户端。早些时候，这个站点很容易被BeautifulSoup抓取，我用来将json和put operation.This的当前时间一起存储在数据存储中，这样我就不会在每次客户端请求时都抓取网站，并且有一个函数可以确保在再次抓取网站之前但现在我不得不使用
浏览 0提问于2018-12-26得票数 0
我正在创建一个网站，从一个网站抓取数据，并在我的网站上显示该数据。我使用selenium进行抓取，这完全是用python编写的，它可以将抓取的数据转换为JSON。我使用Javascript从JSON获取数据并将其显示在HTML中。 现在我想问两件事。 首先，如何通过虚拟主机在web浏览器中运行python文件。其次，我想要的是每
浏览 147提问于2021-01-03得票数 0
1回答
我无法从指定的站点获取所有的url信息。可以从图片中访问更多的数据，我在这里写的代码假设是动态的javascript web抓取。就像我想要Quercetins链接或名称，但ı无法访问。
浏览 20提问于2020-07-11得票数 0
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站<
浏览 28提问于2020-06-18得票数 2
我已经看了stackoverflow上关于美丽汤的大部分问题，只从网站上抓取了一半的数据，但到目前为止还没有一个有效。我已经尝试将功能更改为lxml或html5lib等。我也尝试使用selenium，现在我尝试使用selenium向下滚动网站，使用selenium加载网站上的所有内容，并使用漂亮的汤来抓取数据，但当需要超过100
浏览 0提问于2021-07-04得票数 0
有没有办法使用BeautifulSoup来获取页面上的所有内容？
浏览 18提问于2018-08-24得票数 0
我对python上的web抓取是个新手。我有问题，当我运行我的代码，返回是白色空白，但它不是错误。也许是从我的url打印所有内容，并使它变得很长，所以不能从我的代码或桌面返回它。有谁可以帮我？
浏览 22提问于2020-08-21得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
