2回答
我正在尝试抓取一个在其上执行JS脚本的网页。我可以使用from requests import get获得未执行JS的超文本标记语言 但是我不能让JS函数产生像我用mozilla检查网页那样的结果 下面是我想要获得结果的函数： functionpycurl.WRITEFUNCTION, e.write) return e 或 respo
浏览 32提问于2020-04-07得票数 0
回答已采纳
1回答
当我将链接粘贴到浏览器中并检查html代码时，它看起来是标准的，并且我能够轻松地识别出我正在搜索的元素(见下文)。但是，当我运行python代码并使用漂亮的方法获取HTML时，返回的HTML看起来与浏览器的inspect元素视图中的外观完全不同。HTML不是普通的标签，而是充满了变量，基本上看起来像我以前见过的任何东西(我没有做过大量的抓
浏览 0提问于2019-08-04得票数 2
我正在使用python和bs4来抓取github数据，我想使用这个函数来抓取用户的星级数据。def total_stars(username): html = requests.get('https://github.com/'+username).textsoup = BeautifulSoup(html, 'html.parser')
浏览 28提问于2021-11-23得票数 0
= link.get('href') for i in link: title = link.string print(title)
输出: python浮点舍入python非谷歌合作python flask python漂亮汤python nonetype python ubuntu等。在从堆栈溢出站点提取数据时，我们在抓取问题的标签时遇到了问题。我们可以抓取</em
浏览 0提问于2018-03-17得票数 0
我已经尝试了几个小时来查找和测试不同的东西，但仍然一无所获。当我运行产品信息和获取页面时，它们单独工作很好，但我的main函数不会返回任何信息。url) for url in urls] return results
这就是我不断得到的回报
浏览 0提问于2021-05-19得票数 0
3回答
( Python新手入门和第一篇文章)有没有人知道这是不是我的代码出了问题，或者网站结构有没有我没考虑到的地方？import requests
page = requests
浏览 2提问于2017-03-20得票数 0
中使用python
我想做一个活的网络刮刀。Python是最好的网络抓取工具。但我正试图在前端运行Python代码。所以我的应用程序的性能很好。
浏览 3提问于2022-05-08得票数 -1
我需要阅读从低温货币市场的要价/出价。但是，当市场过于拥挤时，就会出现“陈腐元素错误”。presenceOfAllElementsLocatedBy(WebDriverBy::xpath("//tr[@class='price-level']//td[@class='bid-price']")));
第一个问题是，我是否以正确的方式获得这些快速变化的数据第二个问题是，为什么当我使用下面的代码来避免致命错误时，什么都没有发生，致命<e
浏览 5提问于2019-07-14得票数 1
回答已采纳
我最近完成了Selenium Python刮板。当我在我的个人机器上运行它时，它运行的非常好，但是当我在服务器上运行它时，结果是不一样的。browser.get('https://example.com') 这是我的pyvirtualdisplay代码。display = Display(visible=0, size=(800, 600))
display.start()
浏览 5提问于2016-06-15得票数 3
1回答
我正在尝试从许多网站上抓取搜索结果。问题是，并不是所有这些网站都以纯html文本的形式返回搜索结果，其中很多都是用JS、AJAX等动态生成的。然而，我可以通过使用Firefox检查器查看页面来确切地看到我需要的内容，因为脚本都已经运行并修改了html。作为参考，我使用
浏览 0提问于2015-03-13得票数 0
1回答
我正在抓取一个web (使用Python请求和请求-html模块)，我需要浏览项目列表的所有页面。
在“人工用户”世界中，我单击"2“表示第二页，或在"->”中单击从实际到下一页。我尝试过执行请求-HTML文档所建议的for循环分页，但是在本例中它不起作用，因为没有与r.html对象相关的链接，也没有与列表的每个页面相关联的链接。当我点击，在网站上，在那些“div”的网址根
浏览 3提问于2019-05-01得票数 0
回答已采纳
我试着用Python制作一种机器人，在我选择的互联网上扫描一些信息。问题是，一些像Facebook和Twitter这样的网站在每次使用时都会获得API要求的密钥。例如，在没有用Python验证我的请求的奇怪键的情况下，如何才能找到Twitter的研究结果？有可能吗？
浏览 2提问于2014-01-28得票数 1
回答已采纳
4回答
我想要访问一些HTML表数据，以便保存和脱机使用它们。目前，当我下载网页并将JavaScript放入该文件时，我使用的是JavaScript，它可以正常工作。但是我想直接从网页中获取元素，而不需要下载之前的内容，或者让JavaScript自动下载并从下载的文件中获取元素。 这有可能吗？我找不到答案，因为每个人都要求自己的网页，但我没有自己的网站，我想从那里获得表格数据。info.innerHTML = info.innerHTML + ' ' + objCells.i
浏览 32提问于2019-02-23得票数 0
2回答
我很纠结于尝试抓取一个网站(使用Python/Selenium)，其中包含部分JS构建的链接和内容。在我的例子中，我想要获取的链接如下：{{link_ID}}def URL_from_JS (URL): print(new_URL) #f
浏览 2提问于2016-04-12得票数 2
3回答
使用python中的Selenium库，我目前正在从twitter搜索结果页面( )中抓取内容。由于每个元素的长度，我不会在这里直接复制所有的html代码，但是我注意到所有的id_str前面都有： origina
浏览 0提问于2018-12-04得票数 2
回答已采纳
1回答
归根结底，我有一堆需要解析各种信息的html文件。这些文件是从在线论坛上归档的。我基本上想要做的是能够为程序提供一个html文件，并让它将以下信息写入数据库：以及其他一些类似的信息。HTML解析器会是未来的发展方向吗？我看过它，但老实说，我不太了解如何实现它。我有计算机科学的学士学位，但它的
浏览 0提问于2013-06-03得票数 0
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。还有其他类似于
浏览 3提问于2014-04-17得票数 1
回答已采纳
2回答
搜索爬行“机器人”？
、、、
我正在从事一个项目，需要我收集有关某些主题的网站的网址大列表。我想写一个脚本，将使用谷歌搜索特定的词语，然后保存的网址从结果到一个文件。我该怎么做呢？我使用了一个名为xgoogle的模块，但它总是不返回任何结果。
我在Windows7上使用Python 2.6。
浏览 0提问于2010-09-17得票数 0
回答已采纳
我想要刮的站点使用JavaScript填充返回。返回的来源很简单<?> <head>
<SCRIPT typ
浏览 0提问于2014-03-25得票数 2
回答已采纳
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号