腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
存储
抓取
的
数据
来
管理
一个
网站
的
最佳
方式
是什么
?
python
、
web-scraping
、
scrapy
我正在用scrapy (python)构建一堆爬虫,我想将这些
数据
收集到
一个
and应用程序(日历,例如:https://lectures.london/)中。这是
存储
数据
的
最佳
方式
吗?
浏览 8
提问于2019-10-14
得票数 0
1
回答
存储
大
数据
的
最佳
做法
是什么
mysql
、
rdbms
、
database
我在
一个
项目中,我需要从用户给出
的
网址同步RSS饲料。然后在用户页面上
的
css中显示提要内容。有移动
网站
涉及,所以我不想一次又一次
的
同步,当用户打开移动
网站
的
性能原因。我需要将内容保存在一些
存储
中。保存如此大
的
数据
的
最佳
存储
方式
是什么
(根据RSS提要内容,
数据
可以很大)。我使用
的
是MySQL<
浏览 1
提问于2011-10-09
得票数 0
回答已采纳
2
回答
如何在objective-c中实现
网站
的
数据
检索?
objective-c
、
data-mining
、
data-storage
我想用Objective-c写
一个
程序,从
网站
上
抓取
一些体育统计
数据
,并以这样一种
方式
存储
它们,以便我可以对它们运行一些统计分析。我对objective-c有一点经验,但最近一直在使用java,忘记了objective-c语言
的
许多基本组织结构。为此目的
存储
数据
的
最佳
方式
是什么
?从
网站
获取
数据
浏览 1
提问于2010-12-18
得票数 0
回答已采纳
2
回答
从多个
网站
抓取
数据
的
最佳
方式
是什么
?
java
、
android
、
android-volley
我尝试
的
是,我使用截击请求从第
一个
网站
抓取
,在它里面,我为每个
网站
创建了多个线程,在每个线程中,我使用jsoup connect方法来
抓取
,而不是截击。它完成了工作,实际上更快。但是,问题是,当
抓取
数据
直到完全加载时,它会冻结应用程序。它冻结了进度条,我找不到原因。 下面是我实现
的
代码。这有点长。tabLayout.setVisibility(View.GONE); });
浏览 30
提问于2020-09-22
得票数 0
1
回答
使表格
数据
可作为CSV文件下载
mysql
、
csv
我有
一个
网站
,提供标准
的
HTML表格形式
的
数据
,并显示在7列。在后端,
数据
存储
在MySQL中,并通过PHP显示在网页上。
网站
访问者一直要求将
数据
下载到CSV文件中,我可以提供该功能。通过一次点击下载到CSV文件中,提供有限数量
的
列(比如7列中
的
3列)
的
最佳
方法
是什么
?注意:这个问题不是关于站点访问者
的
而不是关于使用python
浏览 4
提问于2021-10-01
得票数 1
回答已采纳
1
回答
多个国际字符编码/解码
的
最佳
方法(MySQL/PHP)
php
、
mysql
场景:我在D/B中创建了
一个
插件,可以从新闻
网站
和商店中
抓取
元
数据
,但是这些页面可以是英文、俄文、中文、西班牙文等。我有一段非常长
的
时间来
抓取
数据
,并一般地
存储
在D/B中。从这些页面
抓取
数据
,
存储
到MySQL,然后在单个网页上呈现
的
最佳
方法
是什么
?例如,我可能在一页上有4种不同语言
的
取笑器。不太可能,但技术上
浏览 1
提问于2017-02-01
得票数 1
回答已采纳
3
回答
从许多不同
网站
上
抓取
数据
的
最好方法
programming-languages
、
html-parsing
、
screen-scraping
我希望从许多不同
的
地方政府
网站
上获取公共
数据
。此
数据
不是以任何标准格式(XML、RSS等)提供
的
并且必须从HTML中
抓取
。我需要
抓取
这些
数据
,并将其
存储
在
数据
库中以备将来参考。理想情况下,
抓取
例程将在循环
的
基础上运行,并且只将新记录
存储
在
数据
库中。对于我来说,应该有一种方法可以在这些
网站
上轻松地检测到旧记录中
的
浏览 0
提问于2012-09-04
得票数 0
1
回答
将用户
数据
匿名链接到分析
security
、
architecture
、
analytics
、
privacy
、
anonymity
我想收集
一个
登录用户
的
多次访问
的
分析,如果他们选择加入。忽略分析
数据
中
的
隐式链接(例如用户识别URL等),实现这一点
浏览 2
提问于2011-10-24
得票数 0
回答已采纳
1
回答
雅虎管道合法性
screen-scraping
、
yahoo-pipes
、
mashup
如果
一个
网站
声明不
抓取
他们
的
网站
,那么使用Yahoo Pipes或YQL这样
的
工具
来
创建mash up还合法吗?谢谢。
浏览 2
提问于2013-09-26
得票数 0
2
回答
在nodejs应用中
存储
和
管理
刷新token
的
最佳
方式
是什么
?
node.js
、
oauth-2.0
、
saas
我想知道
管理
和
存储
刷新令牌
的
最佳
方式
。我正在构建
一个
应用程序,其中我需要连续访问
数据
API,即使用户没有登录。那么,我是否应该使用像MongoDB或redis这样
的
数据
库,以及
管理
刷新令牌和访问令牌
的
最佳
方式
是什么
。例如,我如何常规地刷新我
的
access token.Are,是否有任何服务
来
完成此任务。
浏览 0
提问于2017-05-30
得票数 0
2
回答
有没有标准化
的
网站
地图格式?
java
、
xml
、
web-scraping
、
sitemap
我想建立
一个
网站
,
抓取
几个
网站
网站
地图。我在中遇到过几次这种格式。我想知道这是不是标准,或者有没有。 如果没有
网站
地图,那么
抓取
网站
地图
的
最佳
方式
是什么
?
一个
正则表达式,还是某个库?
浏览 0
提问于2013-02-21
得票数 1
回答已采纳
1
回答
在PostgreSQL中
存储
图像
的
最佳
方式
postgresql
、
blob
我在
一个
网站
上工作,它将从数十万张图片开始,希望能达到数亿张。大多数图像
的
物理大小都不会超过300K。在PostgreSQL中
存储
这些文件
的
最佳
方式
是什么
?我确定
的
一件事是,系统将使用模式、分区和表空间
来
管理
存储
。
浏览 5
提问于2013-11-03
得票数 3
1
回答
如何在android应用程序中更新信息
java
、
android
、
xml
我正在为餐馆
的
网站
开发
一个
android应用程序。餐馆
的
数量是190家。所以(从应用程序外部)我从
网站
上
抓取
每家餐厅
的
信息。这些
数据
放在
一个
xml文件中。然后我将其放入我
的
应用程序包中。我解析了xml文件,创建了餐厅对象,并用所有餐厅填充了
一个
列表视图。从
网站
浏览 0
提问于2011-04-17
得票数 0
5
回答
存储
通过web富文本编辑器输入
的
HTML标记?
html
、
sql-server
我目前正在为
一个
网站
的
管理
部门工作。
管理
员可以使用infragistics工具为页面创建标记,然后在加载时将其加载到页面中。谢谢
浏览 1
提问于2009-05-01
得票数 2
回答已采纳
2
回答
使用Phantomjs进行屏幕
抓取
,结果
存储
在MYSQL中
php
、
mysql
、
phantomjs
、
casperjs
我正在寻找
抓取
这个
网站
:我没有在网上看到任何这种转变
的
例子,所以没有什么可以解决
的
。更新
浏览 1
提问于2012-10-14
得票数 3
2
回答
Python处理多线程
的
最佳
方法
是什么
python
、
multithreading
因为我
的
scaper运行很慢(一次
一个
页面),所以我试着使用线程
来
让它工作得更快。我有
一个
抓取
(
网站
)函数,它接受
一个
要
抓取
的
网站
,所以我可以很容易地创建每个线程并在每个线程上调用start()。现在,我想实现
一个
num_threads变量,它是我希望同时运行
的
线程数。处理这些多线程
的
最佳
方式
是什么
?例如:假设
浏览 1
提问于2015-02-04
得票数 0
2
回答
在两个
数据
库之间共享用户
php
、
mysql
、
database
、
database-design
、
rbac
该应用程序将包括
一个
管理
区,其中也将包含员工
的
职能。应用程序
的
另一部分是面向客户
的
网站
。面向客户
的
网站
还允许客
浏览 2
提问于2011-03-12
得票数 1
1
回答
将密码传递给junitcore
java
、
selenium
我正在开发
一个
独立
的
应用程序
来
测试使用Selenium Webdriver
的
网站
。该应用程序将使用JavaFX或Swing UI
来
允许用户加载测试套件文件,并选择要运行哪些测试以及在哪个浏览器中运行这些测试。UI还将捕获测试使用
的
数据
,如用户名和密码。我计划使用JUnitCore
来
运行选定
的
测试类,但我需要将
数据
从UI传递到测试类。对于大多数
数据
,我可以使用System.setPr
浏览 3
提问于2012-05-31
得票数 1
回答已采纳
1
回答
什么是
一个
好
的
AWS解决方案(DB、ETL、批处理作业)
来
存储
大量历史交易
数据
(每天刷新),以便进行机器学习分析?
mysql
、
database
、
amazon-web-services
、
amazon-dynamodb
、
mysql-python
我想建立
一个
具有大量历史交易
数据
的
机器学习系统,用于机器学习目的(Python程序)。 贸易公司有
一个
API来
抓取
他们
的
历史
数据
和实时
数据
。历史
数据
约100G,日常
数据
约200M。交易
数据
是典型
的
时间序列
数据
,如价格、名称、地区、时间线等,
数据
的
格式可以以大文件
的
形式检索,也可以
存储
在关系<e
浏览 37
提问于2019-02-20
得票数 0
1
回答
将jpeg地址显示为实际图像
python
、
image
、
jpeg
我写了
一个
程序,用于
抓取
网站
的
数据
,并根据关键字过滤帖子。 显示给定jpeg地址
的
图像列表
的
最佳
方式
是什么
?一些尝试包括:使用枕头-但我能做
的
最多
的
就是用Google Chrome打开
一个
新
的
标签
来
显示照片。 使用图像-但我只能在计算机上
的
预览保存图像中打开。使用csv - only将输出
浏览 3
提问于2017-09-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python爬虫的基本流程!
打造最佳文献生态(二)
PHP使用Curl实现模拟登录及抓取数据功能示例
Screaming Frog SEO Spider 快速入门指南
怎样高效的爬取数据?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券