腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从
网页
抓取
数据
时
需要
花费
时间
加载
时
出现问题
python
、
html
、
web-scraping
作为练习的一部分,我正在尝试
从
网页
中
抓取
数据
,但
网页
的设置方式似乎正在挫败我的一些努力。基本上,我认为
网页
需要
一段
时间
来
加载
我感兴趣的功能,因此,当我运行代码来提取我想要的
数据
时
,它失败了。这是
网页
:https://www.cbn.gov.ng/rates/ExchRateByCurrency.asp 我注意到,即使在检查源代码
时</
浏览 23
提问于2020-11-01
得票数 0
回答已采纳
1
回答
Gtmetrix为第一个域等待
时间
显示了较高的
加载
时间
。如何减少
web-hosting
、
web-development
、
website-design
、
load-time
我想知道,为什么我的域名要花很长
时间
才能
加载
?根据Gtmetrix
时间
线,第一个域名传播最多
需要
953 As:Waiting - 843 ms有时甚至要花2秒。
浏览 0
提问于2014-01-22
得票数 1
1
回答
美丽的汤只返回100行
从
雅虎!金融
python
、
web-scraping
、
beautifulsoup
、
yahoo-finance
我刚刚开始与网络
抓取
,并认为我正在取得良好的进展,使用下面的脚本和美丽的汤解析简单的雅虎财务
数据
。下面的脚本运行得很好,但它只返回了100行,尽管我请求了一年的值。我发现一些SO帖子建议在请求中添加一个
数据
参数,将其设置为no,AJAX和mobile,但也不起作用。我也试着传递不同的头信息,但没有成功。当我
从
请求中打印出完整的HTML内容
时
,完整的结果就在那里,所以我被难住了。
浏览 1
提问于2021-03-14
得票数 0
1
回答
Nutch Fetcher用N个挂螺纹进行中止
nutch
我用Nutch-1.4爬行网站。我在爬行中面临的问题是获取器总是用N个挂线程中止。日志文件中的条目是, 信息fetcher.Fetcher - -activeThreads=1,spinWaiting=0,fetchQueues.totalSize=0警告fetcher.Fetcher -使用一
浏览 0
提问于2012-04-26
得票数 2
回答已采纳
1
回答
为什么父组件在子路由器完成之前从不渲染?
vue.js
、
vue-router
如果我
从
Home中的beforeRouterEnter中删除next(),则永远不会显示组件库。这是一个问题,因为Home会
花费
很多
时间
来
加载
数据
,同时base应该渲染到屏幕上(例如base有工具栏)。 我该如何解决这个问题?
浏览 0
提问于2019-08-04
得票数 0
1
回答
从
Instagram下载公共
数据
进行研究
selenium
、
web-scraping
、
instagram-api
我正在做一项研究,为此我
需要
下载Instagram
数据
。起初,我尝试使用Instagram API,但它现在限制了每个API调用可以下载的帖子数量和每天的API调用次数,这使得它与我的工作无关。我还尝试使用,它无法下载更多的
数据
。最后,我转向使用进行web
抓取
,这对我来说很有用,因为它可以
抓取
大约15000个与我的研究相关的公共配置文件的用户名。然而,由于Instagram
加载
其
网页
的动态方式,我无法
抓取
链接到用户的帖子。一直按下标签并提取文章链接(这
浏览 2
提问于2018-08-20
得票数 0
回答已采纳
2
回答
从
网页
上传图片
python
、
django
、
curl
、
urllib
我想实现一个类似于这个的功能-允许用户
从
任何
网页
上传图片。
抓取
页面的html (大页面大约
需要
1秒): file.read()Parse = urllib.urlopen(requested_url(大页面也
需要
1秒左右)检查列表中所有图像的大小,如果它们足够大,则在json响应中返回
浏览 2
提问于2011-04-09
得票数 1
回答已采纳
2
回答
我
需要
关于如何加速网络
抓取
器的建议
python
、
web-scraping
、
request
、
beautifulsoup
我正在尝试
从
网页
中提取
数据
,但我实现的这个方法似乎有点慢。我使用了time模块来缩小延迟的原因。requests.get(url)soup = BeautifulSoup(data.content)请求总是这么慢吗?现在,
从
yahoo.com/finance上拉出一个股票价格大约
需要
2-5秒,请求是主要问题,有什么想法吗?
浏览 1
提问于2015-05-08
得票数 2
1
回答
来自MSSQL
数据
库的异步信息
python
、
sql
、
sql-server
、
pyodbc
我有一个python
网页
,它使用pyodbc
从
MSSQL
数据
库中提取信息。 但是,这是可行的,因为一些运行的查询相当繁重。
网页
可以
花费
20-30秒的
时间
加载
。我想解决这个问题,最好的方法是每15-30分钟运行一次所有查询,并将
数据
本地存储在服务器或本地,并将
数据
拖到
网页
中,而不是在页面
加载
时
重新运行查询。我想有一个相对快速的方式,
网页
访问
数据
,所
浏览 2
提问于2014-07-24
得票数 0
回答已采纳
1
回答
无法在vercel服务器中使用React获取html内容
javascript
、
node.js
、
reactjs
、
next.js
、
vercel
我正在使用Reactjs,使用nextjs框架,Html (Description_front)在本地主机上显示
数据
,这里是api响应(控制台)。h3><strong>The crypto revolution and its effects</strong></h3>" 但是,每当我试图通过api显示服务器(Vercel)中的"html“内容
时
,我就会在我的控制台中得到以下
数据
,但是每当我试图在
网页
中显示"description_
浏览 4
提问于2022-06-30
得票数 0
2
回答
网页
载入较慢
android
、
webview
我试图在android的webview中
加载
一个url。url在web视图中
加载
很好。但问题是
网页
在
网页
视图中的
加载
时间
。有时
网页
会在1-2秒内立即
加载
。但是有时,
网页
需要
超过40秒才能在
网页
视图中
加载
网页
。当我检查浏览器上的url
时
,它会在2秒内
加载
。问题是,当
网页
花费
超过2秒
时</
浏览 1
提问于2014-09-17
得票数 0
回答已采纳
1
回答
在Python中使用X秒后
从
网页
中获取HTML
数据
python
、
html
、
web-scraping
我
从
tesla使用的库存中获取
数据
,编写价格检查程序,以找到符合用户给定预算的价格。然而,Tesla
网页
只在一段
时间
后
加载
汽车,当我使用请求获取html
数据
时
,它不会
加载
这些
数据
。是否有一种方法可以在一段
时间
后获得HTML
数据
,一旦全部
加载
完毕?这就是我正在
抓取
的页面: ( url参数根据用户的输入进行更改),所以我不包括它们。当我访问页面
时
,我
浏览 2
提问于2022-02-22
得票数 0
1
回答
使用ASP.NET MVC应用程序定期插入Azure
数据
库
c#
、
asp.net
、
asp.net-mvc
、
azure
我想知道如何实现一个解决方案来检索我
抓取
的
数据
,并将其用于在ASP.NET MVC应用程序中显示。当前的实现
抓取
数据
并将其
从
控制器显示到视图,然而,通过这样做,由于在处理查看具有
抓取
的
数据
的页面的请求时运行的刮取器,查看
网页
的请求将
花费
非常长的
时间
。 有没有什么实现可以将
数据
检索和网站分开?目前,我有一个
抓取
数据
的控制台应用程序
抓取
器类,以及一个
浏览 3
提问于2016-03-16
得票数 3
2
回答
如何在24小
时
内从动态
加载
的
网页
中
抓取
超过5万个
数据
点?
python
、
selenium
、
web-scraping
我正在使用selenium python,我想知道如何在24小
时
内有效地
抓取
超过50,000个
数据
点。例如,当我在
网页
'insight.com‘上搜索产品
时
,
抓取
器大约
需要
3.5秒来搜索产品并获取其价格,这意味着对于大量
数据
,
抓取
器
需要
几天
时间
。
从
使用线程同时查找多个产品的一部分,我还可以如何加速这个过程?我只有一台笔记本电脑,将不得不同时
抓取
其他六个类
浏览 28
提问于2020-06-18
得票数 2
5
回答
即使我使用$( jQuery ).on(‘load’,function() ),在页面
加载
完成之前,函数也会执行
javascript
、
jquery
我有时试图
从
https://www.speedrun.com/mm上获取一个chrome扩展,但我遇到的问题是jQuery在
网页
加载
完成之前就
加载
了。当我在打开Inspect的情况下刷新页面
时
,它工作得很好(我假设它会使
网页
加载
的
时间
更长),但如果不这样做,我就不能
抓取
数据
,它将返回空白。有没有办法确保总是先
加载
数据
?
浏览 79
提问于2017-11-02
得票数 1
回答已采纳
1
回答
使用jsoup
从
网页
中
抓取
数据
时
出现问题
android
、
html-parsing
、
web-scraping
、
screen-scraping
、
jsoup
我是一个在android.So中
抓取
的初学者,非常感谢您的帮助*/ 08-09 18:00:01.033: W/dalvikvm
浏览 1
提问于2013-08-10
得票数 0
1
回答
当我输入一个URL
时
,为什么
网页
需要
很长
时间
才能
加载
到我的手机浏览器上?
internet-explorer
、
architecture
、
mobile-website
、
scalable
、
system-design
我现在拥有的是: 这是我在一次面试中给出的一个答案,被认为是不够的。
浏览 4
提问于2015-01-15
得票数 1
3
回答
在MySQL
数据
库中创建PHP缓存系统?
php
、
mysql
、
performance
、
caching
我正在创建一个经常
从
远程
网页
抓取
数据
的web服务。收集完这些
数据
之后,我就有了一个简单的多维数组信息可供使用。
抓取
过程在我的服务器上相当繁重,页面
加载
也
需要
一段
时间
。我正在考虑使用MySQL
数据
库添加一个简单的缓存系统,在其中我为每个远程
网页
创建一行,并将从中提取的信息数组存储为JSON编码字符串。这是一个足够好的系统吗?或者像每个
网页
一个文本文件这样的东西是不是更好呢?
浏览 1
提问于2010-05-28
得票数 0
回答已采纳
1
回答
用非常大的寄存器或
数据
填充带有晶闸管的表
java
、
html
、
spring
、
populate
、
thymeleaf
嗨,我在一个使用胸腺网的spring项目中工作,我有一个执行一个非常复杂的查询的方法,这个查询
需要
7 seconds返回1500行,我必须用这个
数据
填充一个表,但是填充这个表
需要
花费
太多的
时间
,填充表和显示
网页
需要
1分钟,所以
加载
这个页面
需要
1分钟,当你有大量的
数据
而不
花费
太多
时间
的时候,有没有办法填充一个表呢?我曾经认为
加载
需要
花费</
浏览 2
提问于2014-10-01
得票数 0
1
回答
为什么我的BeautifulSoup对象不包含
网页
所包含的文本属性?
python
、
beautifulsoup
当我使用开发人员工具查看div
时
,div中有文本。当我使用BeautifulSoup返回div
时
,div中没有文本。
浏览 1
提问于2016-12-08
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
针对JavaScript的SEO优化指南
手机网站该怎么做好SEO优化?
Python爬虫框架之pyspider
建站指南:为什么网站内容无法被搜索引擎抓取?
实战干货:从零快速搭建自己的爬虫系统
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券