腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从网页中提取内容数据
我希望从网页urls获得结构化文章数据。到目前为止,我已经找到了这两个服务和。有没有更好的替代方案,或者自己写代码来做这件事值得吗?
浏览 2
提问于2014-10-07
得票数 0
1
回答
如何使用web
抓取
中的变量?
、
、
、
我使用以下代码
抓取
了一个作业门户: ;(async我尝试将其作为函数导出,并将其导入名为JobCard.
js
的组件中。但它会打印一条警告:如果我将scraper.
js
放到组件中,它会说: 找不到./node_modules/pu
浏览 3
提问于2018-11-22
得票数 0
2
回答
如何通过java脚本在sql developer中提取表中某列的值
需要通过Javascript从SQL developer中的表的列中提取值 表AAAA由四列A、B、C和D组成。我应该如何编写javascript,以便通过搜索B列中的特定记录值来获取C列中的记录值 select C from AAAA where B= '3';--其中3是B列中的记录如何通过javascript获取 需要通过intershop获取这些值
浏览 20
提问于2019-06-18
得票数 0
2
回答
有没有可能在chrome扩展中做一些简单的web
抓取
?
、
、
、
我想知道是否有可能在基本的
JS
或chrome API中进行web
抓取
?任何信息或指导都将非常感谢,我一直在努力做这个主题的研究,但没有找到任何最近或明确的答案。 谢谢你的帮忙!
浏览 2
提问于2020-07-20
得票数 0
2
回答
除非启用了Javascript,否则使用php函数
、
、
我有一个网站,将
抓取
新的数据在第一页访问。我想使用AJAX来做这件事,这样我就可以在
抓取
过程中向用户提供至少一些loading.gifs,但这只有在启用了Javascript的情况下才能实现。我的站点使用了一个PHP模板引擎,所以我想把
抓取
函数放在html模板的<noscript>标记中。因为这将在所有PHP代码之后发生,所以我必须重新加载页面,以便可以使用PHP呈现/解析
抓取
的数据。
浏览 0
提问于2011-01-16
得票数 1
2
回答
木偶人爬行器大规模爬行
、
、
我们正在使用Puppeteer编写一个网络爬虫。我们写的木偶爬虫执行和爬行网站的网址没有问题的网页,如约1,500 - 5,000,但是,当我们执行的网站超过5,000,如果它在中间由于一些错误或崩溃而中断,那么它需要重新开始。如果出现任何错误,如何使基于Puppeteer的网络爬虫从爬行的最后状态恢复?在Puppeteer中有没有内置的函数?如何让这个木偶手无头的chrome web爬行通过一个队列系统?
浏览 14
提问于2020-12-05
得票数 2
1
回答
食肆的时间及地点的空气污染指数
、
、
我希望做一个iPhone应用程序,利用餐厅的开放和关闭时间,以及他们的位置。我发现hoursmap.com是一个可以做一些我想做的事情的网站,但我还没有找到其他的网站,特别是没有一个有任何应用程序接口的网站。据我所知,Yelp和Google Places都没有这个功能。任何帮助都将不胜感激。谢谢!
浏览 1
提问于2011-07-14
得票数 0
回答已采纳
2
回答
通过幻影和casperjs将刮过的数据保存到mysql
数据库
、
、
嗨,我正在开发一个网络刮刀,首先我试图使用php CURL进行
抓取
,但后来我遇到了一个问题,就是我无法刮掉通过AJAX加载的站点,然后我转到了‘幻影
JS
’和'casper‘。现在我已经成功地安装了webkit,可以从任何网站刮取数据,但是我无法将数据保存到
数据库
中以供长期使用。简单地说,供以后使用。我想要做的是,不管我刮了什么数据,我都想把它保存到mySql
数据库
中。我尝试过发送Ajax请求将数据发送到
数据库
,但失败了。 例如,我想出了另一个解决方案,即当我从指定的网站
抓取
数据
浏览 1
提问于2018-04-02
得票数 0
回答已采纳
1
回答
将Ajax数据发布到公共PHP函数
、
问题是,它说问题已经更新,但没有数据添加到
数据库
中。
浏览 0
提问于2017-04-19
得票数 0
2
回答
Web
抓取
与使用AWS的云存储
、
、
、
、
与刮刀相比,云
数据库
不会提供任何额外的速度,是真的吗?如果是这样的话,AWS是否有一项服务允许我们通过另一项服务更快地访问我们存储的数据,几乎就像
数据库
在我们自己的服务器上一样?我对云服务不是很熟悉,但我确实非常了解
数据库
。因此,如果您愿意,请简化AWS的内容,并随时向我指出任何副本或链接,可能有助于我更多地理解这一点。
浏览 1
提问于2017-10-13
得票数 1
1
回答
如何在javascript中读取sqlite信息,而无需编写自己的API?
、
我在
数据库
操作方面的大部分经验都是通过node.
js
和为类编写简单的API获得的。我现在正在尝试一个私人项目,在这个项目中,我将编写一个
数据库
,并从其中读取信息以显示在通过github托管的网站上。然而,对于我正在做的事情来说,应用程序接口似乎是不必要的,因为我应该能够将
数据库
文件上传到github上,并让网站从中读取,而不是托管node.
js
服务器。所以,我想问的是,在较高的层次上,我如何将
数据库
中的信息转换为可以在网站上读取的形式,并且只是在本地创建一个json,或者以其他方式存储信
浏览 91
提问于2020-06-12
得票数 0
1
回答
如何将节点
js
缓存的图像数据发送到ejs模板
、
我正在练习使用node
js
从
数据库
中上传和获取图像。上传部分进行得很好,但是
抓取
部分给出了一些问题,
抓取
图片的代码是app.get('/images', async (req, res) => { const img = await image(image
浏览 0
提问于2020-09-15
得票数 1
1
回答
下面的JavaScript代码与Facebook相关
document.createElement('script');我不确定这个al.
js
是做什么的。附加到fb-root元素的结果。 这个异步函数是做什么的?为什么它被称为“刮板”?
浏览 0
提问于2012-09-08
得票数 0
回答已采纳
1
回答
在heroku上部署scrapy项目
、
、
、
我有一个
抓取
蜘蛛项目,它报废了一些网站,并获取我的数据上。我的爬行器生成两个JSON文件,所有
抓取
的数据都存储在这两个文件中。
浏览 1
提问于2014-04-24
得票数 2
2
回答
谷歌工作表ImportHTML找不到表格?
我以前用过很多次ImportHTML,从来没有遇到过任何问题,但出于某些原因,我似乎无法从篮球参考中提取特定的表,即使我已经从那里提取了其他表。我想要的表是this page上下方的杂项统计表。我尝试了函数中从1到30的所有索引,但超过7的索引都没有引入任何数据。我正在使用的函数如下,其中1更改为我正在尝试的任何索引: =IMPORTHTML("https://www.basketball-reference.com/leagues/NBA_2019.html", "table", 1) 我尝试在Chrome的控制台中使用以下代码来查找页面的索引,但它没有返回
浏览 27
提问于2019-03-07
得票数 0
1
回答
使用Ruby
抓取
外部javascript文件
、
、
我需要爬行几个网址,并
抓取
他们的内容到一个
数据库
。我使用Nokogiri
抓取
CSS没有任何问题,但无法轻松获得Javacript。
浏览 0
提问于2012-02-06
得票数 2
回答已采纳
1
回答
为两个不同的系统构建集成Api
、
、
有没有办法构建一个从不提供API的第三方系统读取数据的Api?我计划为家长建立一个应用程序,我不知道学校的学校管理系统是如何制作的,但我需要从它获得数据,有没有方法可以通过构建我的自定义Api而不接触学校管理系统来获得数据?
浏览 23
提问于2020-10-22
得票数 0
1
回答
如何在循环中运行selenium web
抓取
脚本并将结果发送到mongodb
、
我有几个selenium脚本来
抓取
web上的网站,我需要这些脚本每10分钟自动运行一次,然后将结果发送到我的mongodb
数据库
,我知道如何在
数据库
中发送和存储数据,但我不知道如何每x时间自动运行这些脚本,然后在不做任何事情的情况下更新您的
数据库
?/Scripts/WebScript.
js
') const resul
浏览 14
提问于2021-05-09
得票数 0
回答已采纳
2
回答
音频注释
、
我的第一个任务是允许用户使用javascript对音频文件进行注释,类似于声音云。但我不知道从哪里开始。如果有人能给我指明正确的方向,那会很有帮助的。
浏览 5
提问于2012-05-19
得票数 4
1
回答
在将XML导入Google电子表格时感到困惑
、
、
、
、
我正在尝试将每日体育直播赔率导入到谷歌电子表格中。我使用的是importhtml,但我相信我使用的网站已经更新为XML。我喜欢把它组织成电子表格的简单性,而不是去网站,这也有助于我比较赔率。更具体地说,我需要(通过每场比赛)球队名称,现场得分/结果,当前线和收入线。任何帮助都是非常感谢的。提前谢谢。
浏览 24
提问于2019-11-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python项目实战:抓取大型网站JS特效模板
Node.js操作MongoDB数据库
如何使用 JS 实现一个本地数据库?
Python网络爬虫抓取动态网页并将数据存入数据库MYSQL
node.js爬虫 保存数据为json、mysql、mongodb 虎牙、斗鱼、熊猫、全民、龙珠 在线直播间抓取
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
腾讯会议
活动推荐
运营活动
广告
关闭
领券