腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
python
中
的
Web
抓取
不
加载
数据
python
、
python-3.x
、
web-scraping
、
nsepy
我正在尝试使用下面的
python
代码从NSE网站获取
数据
,我得到了 [<span class="bold" id="orderBookTradeTMC">-</span>] 安装,安装 [<spanclass="bold" id="orderBookTradeTMC">266</span>]
数据
266未
加载
,请告知 import requestsur
浏览 18
提问于2020-06-28
得票数 1
回答已采纳
2
回答
BeautifulSoup
web
抓取
,无结果
python
、
beautifulsoup
、
web-crawler
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙,谢谢! from bs4 import BeautifulSoup results = soup.find_all(
浏览 40
提问于2020-10-06
得票数 2
回答已采纳
1
回答
Python
Web
抓取
:通过
加载
页面
抓取
页面
python
、
python-3.x
、
web-scraping
我正在建立一个网络
抓取
项目使用
python
与美丽
的
汤和请求模块,问题是我想要
抓取
的
网站有一个
加载
页面(完全不同于主页),然后它将我重定向到主页。我怎么能等到页面
加载
完成,然后从主页上
抓取
数据
呢?我知道Selenium可以处理这些类型
的
网站,但网站必须使用
web
驱动程序启动,这是我
不
希望在我
的
项目中使用
的
原因,这就是为什么我使用Beautiful
浏览 15
提问于2020-10-25
得票数 0
2
回答
是否可以从Julia调用
Python
函数并返回其结果?
python
、
julia
我正在使用
Python
从
web
上
抓取
数据
。我想用这些
数据
在Julia
中
运行计算。 有没有可能在Julia
中
调用函数并返回其结果,或者我只是导出到CSV并以这种方式
加载
数据
会更好?
浏览 2
提问于2017-10-09
得票数 3
2
回答
尝试将
数据
从网站
加载
到json文件
中
。
python
、
json
、
python-requests
我试图将
数据
从一个网站
加载
到一个json文件
中
。m=1" print(r.text)我只想在json文件中
加载
数据
浏览 2
提问于2020-05-10
得票数 0
1
回答
在
python
中
浏览/解析html页面
python
、
html
、
parsing
、
browser
、
web-scraping
为了与html页面进行交互,我试图把一些我需要
的
插件集合在一起。我需要
的
范围从简单
的
浏览和与按钮或网页链接(如“在这个文本框
中
写一些文本并按这个按钮”)进行交互,到解析html页面和向服务器发送自定义get/post消息。我正在使用
Python
3,到目前为止,我有Request用于简单
的
网页
加载
、自定义get和post消息,BeautifulSoup用于解析HTML树,我正在考虑尝试机械化来进行简单
的
网页交互。还有其他类似于我目前使用
浏览 3
提问于2014-04-17
得票数 1
回答已采纳
1
回答
如何知道在
抓取
时使用哪些标签?
python-3.x
、
web-scraping
抓取
时有没有使用哪些标签
的
逻辑?现在,我只是在对不同
的
标签变体进行“反复试验”,看看哪种标签是有效
的
。这需要很多时间,而且真的很令人沮丧。我不能理解为什么有些标签能工作,有些不能。div', attrs={'id':'YDC-Lead-Stack-Composite'})为什么第一个例子(test1)返回值,第二个例子(test2)没有返回值,有什么合理
的
解释吗有没有一种有效
的
方法来知道哪些标签会起作用?
浏览 0
提问于2020-05-25
得票数 0
5
回答
如何从其他网站获取
数据
?
python
、
database
、
parsing
、
web-scraping
我想创建一个网站,从其他网站提取信息,并将它们打印到我
的
网站上,我正在进行研究,所以我想听取一些意见,这个项目的最佳解决方案是什么?我听说
Python
使用解析器可以做到这一点,我只是想知道我应该走哪条路,应该使用哪种语言?
浏览 1
提问于2013-06-14
得票数 4
1
回答
基于Javascript
的
网页
抓取
登录
javascript
、
python
、
selenium
、
mechanize
我正在尝试为sbrodds.com编写一个
抓取
引擎。不幸
的
是,我需要登录才能获得正确
的
数据
。我研究了机械化和selenium,但遗憾
的
是,我在
python
和
web
抓取
方面做得很差,并且不了解如何使用它们。以下是登录框
的
Chrome inspect elements页面的屏幕截图: 有人可以提供建议,我应该使用什么技术来执行登录到这个网站内部
的
Python
代码?最终
的
目标是将登
浏览 3
提问于2015-12-10
得票数 1
2
回答
有没有办法从另一个网页上
的
HTML表格中提取
数据
?
html
我很好奇,是否有一种方法可以让计算机读取这些
数据
,并将其输入到计算机程序
中
,这样你就可以使用这些
数据
。例如,如果我可以访问ESPN
的
网站,查看联赛排名并将记录发送到我
的
代码,我想这是可能
的
。我知道有些网站有你可以使用
的
API,但我会使用它
的
网站没有…
浏览 1
提问于2016-07-07
得票数 0
2
回答
Python
3
web
抓取
选项
python-3.x
、
web-scraping
我是
Python
的
新手,所以很抱歉这是一个新手问题。我想知道这个论坛上有没有人有使用
python
3进行网络
抓取
的
好选择。 任何建议都将不胜感激
浏览 1
提问于2011-08-11
得票数 5
1
回答
在网页网格
中
抓取
javascript
数据
javascript
、
python
、
selenium
、
web-scraping
、
phantomjs
我对
web
抓取
非常陌生,我正在做一个项目,在这个项目中,我需要从一个
加载
并需要滚动
的
网格
中
抓取
数据
,以便获取所有的值。有人能引导我解决这个问题吗?我已经研究并发现,带有js或幻影
的
selenium可能是一个很好
浏览 0
提问于2018-08-06
得票数 1
回答已采纳
1
回答
Python
到PHP异步
数据
传输
php
、
python
、
asynchronous
我有一个建立一个网络刮擦工具
的
要求。
抓取
部分将在
python
中
编码,结果将在PHP
中
显示。结果应该在PHP
中
异步显示,而
python
正在
抓取
页面。 客户认为
python
是快速和更好
的
web
抓取
的
选择。您认为混合
python
和php仍然会带来快速
的
结果吗?还是坚持使用php进行
web
抓取
更快
浏览 3
提问于2017-05-04
得票数 1
回答已采纳
1
回答
web
数据
抽取
python
、
web
、
beautifulsoup
、
data-extraction
作为我工作
的
一部分,我计划从网络资源(网络
抓取
)中提取
数据
。我想从我公司
的
10公里半径附近提取信息。我知道我需要从几个来源/网页中提取。我还将使用
Python
。 我想知道我应该使用哪个图书馆。网络
抓取
是唯一
的
方法吗?我们能从谷歌地图中提取信息吗?
浏览 2
提问于2017-10-17
得票数 0
回答已采纳
2
回答
Beautiful返回空列表
python
、
web-scraping
、
beautifulsoup
我是网络
抓取
的
新手。因此,我被赋予了一项任务来提取
数据
: 我选择了“评论”
的
数据
集。下面是我
的
抓取
代码。我知道我们可以从内核
中
获取
数据
,但仅出于实践目的,我哪里错了?我选错班级了吗?我想要
抓取
数据
,并可能将其保存到CSV文件或No-SQL
数据
库,首选Cassandra。
浏览 10
提问于2018-08-14
得票数 1
回答已采纳
1
回答
Azure
数据
工厂查询
azure
、
azure-data-factory
、
azure-data-factory-2
案例:-有一个URL,我需要从下拉菜单中选择一个输入,从下拉列表中选择另一个输入来转换一些
数据
,再输入一个CSV格式
的
数据
,然后单击提交按钮,输出是以CSV格式生成
的
,所以我需要通过ADF自动执行此过程我做了什么:-我正在使用
web
活动和复制活动,以
加载
URL
数据
使用POST方法到blob
中
。但我得到
的
输出是页面的完整HTTP响应。然而,我已经创建了用于映射
的
参数,但是work.what不是只获得这些参数来选择URL
浏览 21
提问于2020-03-21
得票数 0
1
回答
数据
挖掘-在终端
中
挖掘Facebook配置文件和返回
数据
python
、
facebook
、
access-token
、
data-mining
我对
python
编码有点陌生,我有一个项目,我决定编写一些代码,当输入一个Facebook用户URL时,它将返回他们
的
配置文件必须提供
的
所有
数据
。任何帮助都将是非常感谢
的
,或者如果您有类似的代码,我很想观察。 我正在寻找在
python
中
执行此操作。
浏览 4
提问于2022-03-29
得票数 -1
1
回答
下面的JavaScript代码与Facebook相关
javascript
这看起来像一个异步函数,它是这个异步函数是做什么
的
?为什么它被称为“刮板”?
浏览 0
提问于2012-09-08
得票数 0
回答已采纳
2
回答
如何在24小时内从动态
加载
的
网页
中
抓取
超过5万个
数据
点?
python
、
selenium
、
web-scraping
我正在使用selenium
python
,我想知道如何在24小时内有效地
抓取
超过50,000个
数据
点。例如,当我在网页'insight.com‘上搜索产品时,
抓取
器大约需要3.5秒来搜索产品并获取其价格,这意味着对于大量
数据
,
抓取
器需要几天时间。从使用线程同时查找多个产品
的
一部分,我还可以如何加速这个过程?我只有一台笔记本电脑,将不得不同时
抓取
其他六个类似的网站,因此不想要太多
的
线程,计算机
的
运行速度将显着
浏览 28
提问于2020-06-18
得票数 2
2
回答
抓取
coronatracker.com
的
问题
python
、
web-scraping
、
beautifulsoup
我正试图在https://www.coronatracker.com/analytics
中
为一个项目搜集资料。然而,当我运行我
的
代码时,它只
抓取
了表
的
标题。下面是我
的
代码: from bs4 import BeautifulSoupimport csv csvrow[i] = csvrow[i].repl
浏览 11
提问于2020-06-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
不用编程,几步做简单的数据抓取,web
Python爬虫:抓取手机APP的数据
Python抓取网页数据的终极办法
Python代码如何加载matlab格式的数据
Python使用Selenium爬取淘宝异步加载的数据方法
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券