腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否有类似队列的
数据库
能够很好地处理并发性?
python
、
database
、
amazon-ec2
、
web-scraping
我有一台
服务器
,其工作是通过给定的urls下载
网页
。它始终从同一个集群中的多个
服务器
接收urls。为此,我考虑使用类似队列的
数据库
来接收来自不同
服务器
的urls,而且
数据库
也应该确保处理并发性。其他
服务器
不断向
数据库
提供urls,此
服务器
上的程序将
抓取
这些urls,然后下载
网页
。是否有类似队列的
数据库
可以完成这项工作?或者我应该有一个更好的设计,而不是使用类似队列的
数据库<
浏览 5
提问于2014-10-08
得票数 0
回答已采纳
1
回答
从reddit URL获取原始URL
javascript
、
node.js
、
reddit
考虑这个链接:https://www.reddit.com/r/todayilearned/comments/6x6iz8/til_princess_diana_on_live_tv_shook_the_hand_of/?ref=share&ref_source=linkhttp://www.bbc.com/news/av/magazine-39490507/how-princess-diana-changed-attitudes-to-aids
浏览 0
提问于2017-09-01
得票数 1
1
回答
如何获取动态扩展的页面的html内容
php
我可以使用php获得一个普通页面的html内容。但我打算获得一个页面的内容,当你向下滚动时,它会动态增长(就像在facebook中一样)。我应该如何获得这样一个页面的内容呢?
浏览 1
提问于2012-06-04
得票数 0
3
回答
在MySQL
数据库
中创建PHP缓存系统?
php
、
mysql
、
performance
、
caching
我正在创建一个经常从远程
网页
抓取
数据的web服务。收集完这些数据之后,我就有了一个简单的多维数组信息可供使用。
抓取
过程在我的
服务器
上相当繁重,页面加载也需要一段时间。我正在考虑使用MySQL
数据库
添加一个简单的缓存系统,在其中我为每个远程
网页
创建一行,并将从中提取的信息数组存储为JSON编码字符串。这是一个足够好的系统吗?或者像每个
网页
一个文本文件这样的东西是不是更好呢?
浏览 1
提问于2010-05-28
得票数 0
回答已采纳
1
回答
为什么在
服务器
端与节点一起使用jQuery?
jquery
、
node.js
、
server
我一直在看到有人在
服务器
端使用jquery+jsdom使用jQuery。我正在用
服务器
端的ExpressJS和客户端的angularJS构建我的应用程序。我想知道在
服务器
端使用jQuery的原因是什么?是否有任何合理的案例来证明这一点?
浏览 1
提问于2016-04-14
得票数 0
回答已采纳
2
回答
有没有可能不使用Iframes,我们就可以在其他HTML页面中显示Html页面?
html
我是一个新的HTML5,我需要显示一个超文本标记语言页面内的其他超文本标记语言页面没有使用框架和框架。请帮帮我。
浏览 0
提问于2011-10-19
得票数 0
回答已采纳
1
回答
从新闻源自动
抓取
新的新闻文章最有效的方法是什么?
screen-scraping
我有一个问题,我不知道如何从新闻
网页
上获取新的新闻文章。我用python写了一个
抓取
器脚本,当我运行它时,它从源(今天发布的运行时间)获取所有新闻,并将它们保存到一个CSV文件中(我保存: URL,标题,日期,时间,图像URL,类别,内容)。最后,我想将这些结果写入我的
数据库
。但是使用这个脚本,我必须周期性地运行它(假设每10分钟运行一次)来检查是否有新发布的内容。这是实现这一点的编写方式吗?
浏览 0
提问于2019-12-09
得票数 0
1
回答
谷歌网站搜索如何在我的
数据库
中进行搜索?
search-engine
页面存储在
数据库
中,并允许管理员编辑(作为CMS解决方案)...谷歌如何从我的
数据库
内容中搜索和显示内容?我想知道google follow的技术或方法?
浏览 3
提问于2011-09-13
得票数 1
回答已采纳
2
回答
在C#中使用超文本标记语言敏捷包获取数据时,应用程序有时会获取数据?
c#
、
html-agility-pack
我一直在使用HTML AGILITY PACK获取一些数据,通过选择一些标签从
网页
中获取数据,但我有一个bug之类的问题。SpanNodes = doc.DocumentNode.SelectNodes("//div[@class='form-field wide-80 如何使用C#在浏览器中刷新
网页
,或者如何使用超文本标记语言敏捷包通过在web浏览器中打开
网页
来获取数据?....
浏览 0
提问于2013-04-19
得票数 0
3
回答
从许多不同网站上
抓取
数据的最好方法
programming-languages
、
html-parsing
、
screen-scraping
此数据不是以任何标准格式(XML、RSS等)提供的并且必须从HTML中
抓取
。我需要
抓取
这些数据,并将其存储在
数据库
中以备将来参考。理想情况下,
抓取
例程将在循环的基础上运行,并且只将新记录存储在
数据库
中。对于我来说,应该有一种方法可以在这些网站上轻松地检测到旧记录中的新记录。有什么建议吗?
浏览 0
提问于2012-09-04
得票数 0
2
回答
在Java中从某个URL调用脚本?
java
、
javascript
、
html
、
parsing
、
execute
为了方便起见,我使用Java解析一个随机网站的超文本标记语言,假设它是。在解析HTML数据之后,我希望提取其中的一些数据,并将其显示在显示器上。之后,用户将输入搜索词,并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点,所以给我一种只与google一起工作的方法不会对我有太大帮助。
浏览 0
提问于2012-03-30
得票数 0
回答已采纳
3
回答
在抛出ASP.NET错误时
抓取
网页
c#
、
asp.net
当一个
网页
抛出一个“潜在的危险脚本”错误时,我正在尝试
抓取
它。每次我这样做,我得到一个
服务器
500,但我可以
抓取
一个正常的,可操作的页面。有没有一种方法可以在
网页
抛出错误的时候
抓取
它? 谢谢
浏览 1
提问于2009-04-29
得票数 0
回答已采纳
1
回答
未弃用的Google Image API
javascript
、
google-image-search
我正在编写一个AngularJS应用程序,将检索从谷歌图像搜索的第一个图像,并显示给用户。我看过Google Image API,但已被弃用。我应该使用什么API?
浏览 15
提问于2018-01-21
得票数 0
回答已采纳
2
回答
如何从
数据库
中
抓取
视频并在
网页
上显示
xml
、
database
、
video
、
smil
、
web-development-server
我有一堆视频存储在MySql
数据库
中(如果其他
数据库
或编程语言更好,请让我知道),并使用php
抓取
它们并将它们显示在
网页
上。据我所知,存储视频的最好和最有效的方法是在
服务器
上的一个文件中,然后将视频的位置放在
数据库
中。我知道如何查询
数据库
来获取位置,我只是想知道如何获取位置并使用它来格式化和在
网页
上显示视频。
浏览 7
提问于2012-08-25
得票数 0
1
回答
JSON数据转换客户端或
服务器
端
json
、
user-interface
、
web
、
server
、
data-conversion
我正在进行一个项目,在这个项目中,
服务器
将发送一种json响应格式。假设我有x页,对于每个页面,我需要转换json以适应UI需求。办法:请指导我哪一种方法会更好,与一些利弊。
浏览 29
提问于2022-04-22
得票数 0
1
回答
我能做一个有python程序文件的应用程序吗?
android
、
server
、
android-sqlite
我想做一个应用程序,返回一个结果的
网页
抓取
/刮(也许‘刮’似乎更合适)。例如,如果应用程序用户选择“块链”作为感兴趣的主题,我的应用程序就会将包含“区块链”这个词的文章链接还给他,这些文章是由于在特定的报纸网站上进行网络
抓取
而产生的。我已经用python做了一个网络
抓取
程序。所以,我想把这个程序连接到一个android应用程序,这样每当应用程序用户通过一个应用程序给出他们感兴趣的话题时,我就可以给他们返回网络
抓取
的结果。我一直在寻找答案,似乎我的应用程序应该链接到
服务器
和<em
浏览 1
提问于2018-11-03
得票数 0
回答已采纳
1
回答
根据每隔几分钟更改一次的MongoDB数据动态生成快速路由
node.js
、
mongodb
、
express
、
handlebars.js
、
mean-stack
我想创建一个动态呈现mongoDB数据的
网页
。我现在的问题是,一旦我启动了我的NodeJS Express
服务器
,路由就不会更新,因为一旦从MongoDB加载了数据,它就不会更新,例如,当
数据库
中有新词的时候。顺便说一句:我正在使用把手来
浏览 1
提问于2018-11-17
得票数 1
1
回答
运行脚本
android
、
python
、
python-3.x
是否有任何资源可以让我存放我的脚本并让它在某个
服务器
上运行。 或者更好的是,在Android手机上有这样的脚本运行吗?
浏览 4
提问于2013-01-12
得票数 1
回答已采纳
2
回答
Web
抓取
与使用AWS的云存储
database
、
amazon-web-services
、
database-design
、
web-scraping
、
rds
与刮刀相比,云
数据库
不会提供任何额外的速度,是真的吗?如果是这样的话,AWS是否有一项服务允许我们通过另一项服务更快地访问我们存储的数据,几乎就像
数据库
在我们自己的
服务器
上一样?我对云服务不是很熟悉,但我确实非常了解
数据库
。因此,如果您愿意,请简化AWS的内容,并随时向我指出任何副本或链接,可能有助于我更多地理解这一点。
浏览 1
提问于2017-10-13
得票数 1
1
回答
从
服务器
中的Web钩子捕获HTTP POST
http
、
http-post
、
server
我正在试图捕捉HTTP POST的
网页
钩子发送。我在Azure中做了一个测试
服务器
,它的网址是http://whtestingserver.cloudapp.net。 谢谢。
浏览 1
提问于2015-03-23
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网页视频抓取插件-免费网页视频抓取插件
Python网络爬虫抓取动态网页并将数据存入数据库MYSQL
如何抓取网页中的表格
如何用java实现抓取网页图片
理解网页数据抓取的原理
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券