腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用Elasticsearch
的
GCP
数据
处理
apache-spark
、
elasticsearch
、
google-cloud-platform
、
jupyter
、
google-cloud-dataproc
在这个Elasticsearch实例
中
,我有一个索引(假设它被命名为metrics-data) -它占用8 8GB
的
大小。我想部署GCP Dataproc集群,并使用
Spark
和Jupyter对这个远程Elasticsearch集群
中
的
指标
数据
索引执行一些分析。 实现这一目标的最简单方法是什么?
浏览 0
提问于2018-12-20
得票数 2
1
回答
数据
迁移到RDS?
database
、
oracle
、
amazon-web-services
、
migration
、
rhel
我不确定我
的
方向是否正确。由于RHEL没有图形用户界面,所以我要从安装SQLcl 基本上,我
的
目标是将预置
的
oracle
数据库
迁移到RDS,并且此RDS只能由特定
的
EC2实例访问。换句话说,我需要找到一种方法来通过SSH将
数据
迁移到这个EC2
中
。想知道有没有人能说明我
的
方向是否正确?或者有没有更简单
的
方法呢?
浏览 3
提问于2019-08-20
得票数 1
1
回答
从
发电机
数据库
转
储
到
s3
的
Json
中
的
数据
加
载到
Spark
中
的
问题
apache-spark
、
pyspark
、
amazon-dynamodb
我需要帮助解析成火花Dataframe.
json
这些
数据
json
文件
的
结构如下: "categories": { "schoolHash": { StructField("validUntil", StringType, true) val df =
浏览 18
提问于2021-11-10
得票数 0
回答已采纳
1
回答
将aws RDS oracle
数据库
备份
到
s3
存储桶
amazon-web-services
、
amazon-s3
、
oracle11g
我
的
oracle
数据库
在RDS实例
中
的
amazon web服务(Aws)上运行。
数据库
的
总大小将小于100 be。我计划对整个
数据库
进行备份,特别是我想将
数据库
备份
到
S3
。
浏览 5
提问于2016-01-20
得票数 2
2
回答
将
数据
从
Redshift复制
到
ElasticSearch
amazon-web-services
、
elasticsearch
、
amazon-redshift
我们有大量
的
数据
存储在ES集群上。我需要向ES集群
中
再添加一个字段,并从Redshift表
的
列中上传该字段
的
数据
。我从来没有使用过这样
的
数据
传输,而且我是AWS
的
新手,不确定如何处理这项任务,以及我应该阅读哪些内容来执行这种
数据
传输。你知道做这件事
的
最佳方法是什么吗?
浏览 2
提问于2017-10-17
得票数 0
1
回答
S3
目录上
的
Spark
流
scala
、
amazon-web-services
、
amazon-s3
、
apache-spark
、
spark-streaming
因此,我有成千上万
的
事件通过Amazon Kinesis流式传输到SQS,然后转
储
到
一个
S3
目录
中
。大约每隔10分钟,就会创建一个新
的
文本文件,将Kinesis
中
的
数据
转
储
到
S3
中
。我想设置火花流,以便它流
的
新文件被
转
储
到
S3
。现在我有 import org
浏览 0
提问于2015-06-23
得票数 5
回答已采纳
3
回答
如何
从
提交
的
spark
应用程序步骤
中
获取AWS EMR集群id和步骤id
amazon-web-services
、
scala
、
apache-spark
、
amazon-emr
场景: 我在AWS EMR
中
运行
Spark
Scala作业。现在,我
的
工作
转
储
了该应用程序独有的一些元
数据
。现在为了
转
储
,我在位置"
s3
://bucket/key/<APPLICATION_ID>“
中
写入,其中ApplicationId为val APPLICATION_ID: String = getSparkSession.sparkContext.ge
浏览 0
提问于2020-09-13
得票数 2
1
回答
使用SQS移动数千个
数据库
是个好主意吗?
mysql
、
amazon-web-services
、
amazon-sqs
我们希望
从
在MySQL实例上使用EC2
转
移到RDS和安装复制。好像是个没脑子的人,对吧?嗯,我有30,000个
数据库
要移动(不要问)。虽然建立复制似乎很好,但将30,000个
数据库
放入RDS
的
过程是一个巨大
的
痛苦;它需要花费很长时间,而且几乎总是会发生一些事情。 每晚
的
备份大约需要两个小时。我最终得到了一个多GB
的
SQL
转
储
文件。下面是我
的
想法,我想要您
的
输入:我编写了两个pyth
浏览 1
提问于2018-07-05
得票数 0
1
回答
将pg_dump
从
s3
加
载到
红移
amazon-s3
、
amazon-redshift
、
pg-dump
我正在尝试将一个完整
的
数据库
转
储
加
载到
Redshift
中
。是否有一个命令可以将生活在pg_dump上
的
s3
中
的
数据
恢复
到
Redshift
中
?如果没有,解决这一
问题
的
最佳步骤是什么? 谢谢
浏览 3
提问于2017-11-30
得票数 2
回答已采纳
1
回答
使用Apache处理来自web
的
文件
apache-spark
我有一些需要处理
的
远程
数据
文件,通常位于FTP或API(
转
储
,而不是流)上。在查看
Spark
文档时,我注意
到
对这些
数据
源
的
支持非常少,特别是在身份验证方面。我认为这是由于不可分发
的
性质(和/或速率限制)
的
可能短暂
的
网页链接,所以我想要得到确认,以便我可以采取行动,按照火花范式。因此,我
的
问题
是:下载所有文件
到
星火支持
的
浏览 1
提问于2017-05-30
得票数 0
回答已采纳
1
回答
将GeoDjango添加到现有的Django项目中
javascript
、
html
、
django
、
maps
、
geodjango
因此,我想知道是否有办法将GeoDjango实现
到
现有的Django项目中。django.db.backends.sqlite3', }因为我已经做了用户和其他一些事情,所以我不想更改我
的
数据库
,那么有什么方法可以将GeoDjango实现为一个基本
的
Django项目并附加到其中呢?我需要地图,这样我就可以把它链接到基本HTML页面前端
的
浏览 1
提问于2019-01-19
得票数 0
回答已采纳
2
回答
将大型(250 db ) RDS PostgreSQL db
转
储
到我
的
本地计算机
postgresql
、
amazon-web-services
、
amazon-rds
、
dump
、
rds
我
的
问题
是在本地机器上获得更大(250 to )
的
postgres
转
储
。 它在AWS RDS上。我试着把它
转
储
到
本地机器上,但是花了很长
的
时间,有点像3+。试图找到一种将其
转
储
到
S3
并安全地从那里下载
的
方法。也许你可以提出更有效
的
方法来做到这一点。会感激任何帮助。谢谢!
浏览 1
提问于2017-11-23
得票数 1
2
回答
将Oracle
数据库
从
Amazon RDS复制
到
本地Oracle developer edition
数据库
oracle
我有一个Oracle SE
数据库
,我们在Amazon
的
RDS服务
中
运行它作为我们
的
生产
数据库
。我正在寻找技术和/或工具来复制
数据库
到
开发人员版
数据库
,开发团队可以在他们
的
本地系统上运行。
浏览 2
提问于2020-05-14
得票数 0
2
回答
备份django项目的最佳方法是什么?
django
、
backup
我有两个低流量
的
网站,有合理
的
用户上传媒体文件和半大型
数据库
。我
的
目标是在一个中心位置备份所有不在版本控制下
的
数据
。我现在
的
方法 目前,我使用一个夜间
的
cron作业,它使用dumpdata将所有DB内容
转
储
到
项目子目录
中
的
JSON
文件
中
。媒体上传已经在项目目录
中
(在media
中
)。在DB被<e
浏览 1
提问于2010-08-19
得票数 8
1
回答
如何保护每日运行脚本
中
的
db
转
储
mysql
、
backup
、
amazon-s3
、
mysql-replication
、
database-backup
在我
的
mysql
从
服务器
中
,我编写了一个每日运行脚本,其中1)停止
从
服务器,2)获取db
转
储
,3)重新启动
从
服务器,4)加密它,5)将其复制到我
的
S3-桶。 我正在使用aws将
转
储
复制
到
S3
桶。这里
的
问题
是,如果有人能够访问服务器,他也可以
从
桶
中
删除
转
储
,因为aws允许对桶进
浏览 0
提问于2015-09-17
得票数 2
回答已采纳
1
回答
如何在Sybase和Oracle中找到创建
数据库
转
储
的确切时间?
database
、
oracle
、
sybase
这是一种常见
的
情形,其中生产
数据库
的
转
储
在一天
中
的
特定时间备份
到
磁带上,如"Start of End“、"End of Day”、...我只有权访问开发
浏览 0
提问于2011-12-08
得票数 3
3
回答
如何
从
PouchDB导入/导出
数据库
javascript
、
pouchdb
如何
从
本地PouchDB
数据库
导入/导出
数据库
?我需要保存我
的
本地
数据库
并在不同
的
平台上打开它。服务器端没有CouchDB。
浏览 0
提问于2016-05-15
得票数 16
1
回答
如何将postgresql
数据库
部署
到
heroku
database
、
heroku
我有一个填充了所有
数据
的
数据库
,如何将其部署
到
heroku。我找不到解决办法。我不知道如何将postgres
数据库
部署
到
heroku .Can,任何人都可以详细解释。
浏览 17
提问于2019-12-25
得票数 0
1
回答
使用PG备份安全地将
数据
导入Heroku
heroku
我希望导入一个现有的Postgres生产
数据库
到
一个新
的
Heroku应用程序。Heroku建议将
数据库
的
转
储
上
载到
像
S3
这样
的
服务
中
,这样pgbackup工具就可以提取
数据
并导入
到
Heroku db:
中
。 我真的不想在公共
的
S3
网址上复制我
的
整个
数据库
,即使只是几分钟。有没有
浏览 3
提问于2013-11-08
得票数 2
回答已采纳
1
回答
psql还原sql
转
储
语法错误
sql
、
postgresql
、
psql
、
restore
、
yelp
我正在尝试将导入
到
PostgreSQL实例
中
。它有重音标记/反勾
的
问题
。除了做角色替换之外,还有其他方法来处理这个
问题
吗?
浏览 2
提问于2017-09-23
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据湖和SQL并不矛盾
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
大数据全系技术概览
Python笔记-数据加载、存储与文件格式(2)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券