有没有一种方法可以在不含selenium的情况下，用python或lxml来抓取JS渲染的网页呢？ 谢谢
浏览 30提问于2020-09-29得票数 3
我知道这也许是一个基本的问题，但我花了一些时间找不到合适的答案。我希望根据用户在页面中的单击情况，提取动态变化的p元素的文本，并将该文本分配给app.py文件中的python变量，以便将其发送到数据库。我用酒瓶和SQLAlchemy。我试着用Beautifullsoup来提取数据，但是它只发送基本文本，没有动态内容。我也尝试过request.get、request.args等的所有变量，但都没有正常工作。你能帮忙吗？html数据(“测试”+任何其他动态数据)：
<form method="
浏览 1提问于2018-09-15得票数 0
回答已采纳
1回答
我正在尝试从网页中捕获动态内容。加载内容后，数据动态显示在网页上。在一个网页上，控制台中的响应是json格式的，第二个是html。下面是我尝试在scrappy中使用的内容。
浏览 1提问于2020-05-25得票数 1
我想解析来自以下站点的表数据：，并创建一个包含所有表值(vCPU、内存、存储、价格)的数据帧。但是，使用下面的代码，我似乎找不到页面上的表。有人能帮我找出如何解析这些值吗？from bs4 import BeautifulSoupimport csv
r = requests.get(url)
html_content = r.tex
浏览 59提问于2018-07-18得票数 0
我就一个非常具体的问题与你联系，我很难找到解决办法。我认为这是非常具体的，因为它是与许多其他网站，但不是在一个我感兴趣的网站。你们是我最后的希望了。
浏览 2提问于2019-02-14得票数 2
回答已采纳
1回答
我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：sel_soup我的问题是，我如何解析和访问我的python中隐藏的动态td标签信息，而不是使用Selenium点击所有的“查看所有价格”按钮，因为
浏览 15提问于2018-02-14得票数 2
1回答
我试图从一个网站抓取一些内容，但selenium.page_source()并不包含我需要的所有内容，因为网站管理员是动态呈现的。当在Chrome中打开DevTools时，你可以检查所有的DOM元素--甚至是那些动态渲染的元素。这让我相信，在selenium中也一定有一种方法可以做到这一点。
浏览 2提问于2021-10-30得票数 0
1回答
硒对洁汤性能的影响
、、、
我正在做一些用Selenium做的web抓取(所以使用这个不是问题)。当我必须识别一个元素(即:获得一个src属性)时，我应该使用Selenium内部选择引擎，还是应该使用Jsoup (这要容易得多)。所以，问题是: Jsoup的使用性能这么好吗？
浏览 3提问于2015-11-29得票数 8
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙，谢谢！ from bs4 import BeautifulSoup
results = soup.find_all(
浏览 40提问于2020-10-06得票数 2
回答已采纳
1回答
我将在React环境中使用cheerio来做web抓取。<div class="name">ramyeon</div> </li> } }, (err)
浏览 30提问于2021-01-04得票数 0
2回答
所以我试着抓取网页的内容。最初我尝试使用BeautifulSoup，但是我无法获取内容，因为内容是动态加载的。在四处阅读之后，我试着根据人们的建议使用Selenium，但是在这样做之后，我仍然无法获取内容。刮出来的东西跟美汤一样。 是不是就不能抓取这个网页的内容呢？(使用Selenium实现更新) from selenium import webdriver
from selenium</e
浏览 35提问于2021-08-11得票数 0
回答已采纳
抓取移位是很好的，因为它们只是元素。但是要获得信息，比如谁在轮班，你必须单击一个元素，它会显示一个隐藏的元素，但也会根据你点击的日期更改信息。我试着将javascript:showFloorPlan('N','N','N','20200624')添加到我正在抓取的网址中，但没有成功。 非常感谢您的任何帮助。
浏览 17提问于2020-06-23得票数 0
1回答
当文档加载到浏览器中(使用document.ready函数)时，每个页面都使用JQuery来转换其内容-主要设置div的类/ids。一旦加载了Javascript函数，信息就更容易解析了。我有什么选项(最好是从命令行)来执行页面的Javascript内容并转储转换后的HTML？
浏览 4提问于2012-05-20得票数 3
回答已采纳
我对python上的web抓取是个新手。我有问题，当我运行我的代码，返回是白色空白，但它不是错误。我已经添加了所有的模块，我不知道问题出在哪里。也许是从我的url打印所有内容，并使它变得很长，所以不能从我的代码或桌面返回它。有谁可以帮我？
浏览 22提问于2020-08-21得票数 0
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
2回答
我正在尝试使用Python抓取这个网站：'‘。但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。from selenium.webdriver import Firefoximport lxml
driver = Fir
浏览 4提问于2020-02-02得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
