将旧数据从Elasticsearch归档到Google云存储

文章/答案/技术大牛

发布

2回答

elasticsearch、google-cloud-platform、google-cloud-storage、elasticsearch-curator

我在Google Compute Instance中安装了一个elasticsearch服务器。每分钟都有大量数据被摄取，下面的磁盘很快就会被填满。我知道我们可以增加磁盘的大小，但这将花费大量的成本来存储长期数据。我们需要在Elasticsearch服务器(Compute engine disk)中存储90天的数据，并将超过90天(直到7年)的数据存储在Google Cloud Storage Bu

浏览 40提问于2020-07-07得票数 0

回答已采纳

1回答

将文件从我的服务器发送到google drive或其他在线商店

backup、google-cloud-storage、online-storage

我想在主机和任何在线存储之间传输文件。其目标是进行在线备份并将文件从存储直接恢复到主机，而无需下载/上载。请给我一些建议。

浏览 2提问于2015-07-26得票数 0

3回答

当服务器不在云中时，将日志文件存储在云中

amazon-web-services、logging、log-files、cloud

我们看到的是向云的长期迁移。该计划是从小规模开始，并逐步将基础设施中不太重要的部分转移到云中。目前为止一切都很好。迁移的一部分包括来自web服务器的日志文件以及诸如此类的内容。请记住，服务器仍然位于云外的数据中心中。应该很容易在每天结束时有一个cron作业抓取日志文件，压缩它们，并将它们推入亚马逊的S3，并可能备份到Glacier。这很简单。如果您不知道时间间隔，您可能需要从S3下载所有日志以进行全面搜索，结果证明这是很昂贵的--将数据移动到云中是很便宜的，将

浏览 0提问于2014-04-10得票数 0

回答已采纳

2回答

BigQuery:将WildCard表从一个帐户转移到另一个帐户

google-bigquery

我们正在将BigQuery数据从QA转移到生产环境。为此，我们为生产环境创建了新的google帐户。我们如何将通配符表数据从一个google帐户传输到另一个帐户？

浏览 1提问于2018-08-07得票数 0

2回答

一种在Android中同步应用数据库的云方案

android、database、synchronization、cloud

我正在开发一个自定义的联系人应用程序，将在SQLite数据库中存储设备上的数据。出于以下原因，此设备数据库可以与云数据库同步是非常重要的：用户可能有多个设备，并希望其应用程序数据在所有设备上都是最新的；用户可能能够从web应用程序访问这些数据；由于此应用程序将存储许多图片，因此设备内存将不足以容纳所有数据，并且将提供存档选项以仅在云数据

浏览 1提问于2013-02-19得票数 7

3回答

如何配置在上备份elasticsearch数据的结构？

elasticsearch、google-compute-engine、google-cloud-platform、backup-strategies

我在GCE (Google )上配置了带有两个节点的e elasticsearch环境，因此两个VM和我需要为此创建一个备份策略。我最初认为可以使用elasticsearch快照API将所有数据备份到给定的存储中，因为API支持几种存储快照的方法。共享文件系统，如NAS 我试图使用共享文件系统选项，但它要求在节点之间共享存储位置。我能在

浏览 5提问于2015-02-04得票数 8

回答已采纳

1回答

将BigQuery GA数据加载到红移

google-bigquery、google-cloud-functions、amazon-redshift

你能帮助我提供如何在biGQuery中加载我的谷歌分析数据到Redshift的方法吗？云函数能做到这一点吗？或者，我如何从python端触发它，而不是使用bigquery脚本来调用BigQuery端？

浏览 0提问于2019-11-28得票数 1

1回答

elasticsearch批量转储数十万份文件

elasticsearch、bulk-load

基于弹性搜索API文档for($i = 0; $i < 100; $i++) { 'index'我在中将数据保存为JSON (新行分隔)格式。文件中有数十万或数百万相同格式的文档(elasticsearch的相同索引/类型的元数据)。要将此Google文件大容量转储到El

浏览 1提问于2017-03-21得票数 0

回答已采纳

1回答

云Sql到云存储数据传输的成本

google-cloud-platform、google-cloud-storage、google-cloud-sql

我在Google平台的Cloud中有300 GB的数据。数据每秒钟都会出现，我们的想法是只将当前月份的数据保存到Cloud中，并将旧的数据(前几个月的数据)放入云存储(coldline存储)中。将其导出并传输到云存储中的成本是多少？(在谷歌云平台价格表上，我没有得到有关这些传输的信息)。我应该把这个任务安排到什么频率，以便将旧的

浏览 6提问于2021-12-07得票数 0

1回答

Server存档策略(不是备份)

sql-server、archive

我们与客户签订的合同规定，我们仅在过去三个月内管理和存储数据。因为我们有一个大容量的应用程序，所以我们通过将旧数据转移到“存档”数据库来对生产表进行归档。我有一个存储过程，它收集旧数据，将其转储到“存档”数据库中的表中，然后从生产数据库中删除行。这是一个非常简单、直接的过程。我们现在希望将归档数据</e

浏览 2提问于2013-07-31得票数 1

2回答

谷歌云存储数据的备份选项或快照？

backup、google-cloud-storage

我将数据放入Google BigQuery表中，并每天根据这些数据生成一些新的数据集。这些是我的Google BigQuery数据的备份副本。另外，保存在Google中的一些数据集将被转储到AWS elasticsearch中(因此它们也是AWS Elasticsearch的备份副本数据<

浏览 4提问于2017-04-17得票数 0

1回答

Logstash正在将旧数据放入Elasticsearch。无法清除Elasticsearch数据

elasticsearch、logstash、purge

我让Logstash从日志文件status.log中读取并将输出发送到一个Elasticsearch实例。我想要清理Elasticsearch中的数据，为此我正在执行curl -XDELETE 'http://localhost:9200/index_name/_all'。如果我检查head插件，数据就不见了。如果这还不够，我还在用echo "" > status.log清理日志文件。当我再次执行应用程序时，旧

浏览 1提问于2015-03-20得票数 0

1回答

从WiredTiger碎片存档导入本地mongodb数据

mongodb、sharding、wiredtiger

我从cloud.mongodb下载了一个带有数据库碎片的归档文件。在这个归档文件中有一个包含许多.wt文件的文件夹。但我找不到办法将这些数据复制到本地机器上。我尝试过Studio3T，但是数据导入似乎不支持这种格式。我对分片和云存储很陌生，所以我可能误解了什么。我遗漏了什么？甚至可以将这种备份文件导入到本地实例中吗？还有.bson文件和一些.sh脚本。

浏览 5提问于2020-06-23得票数 1

1回答

使用Google函数从Firestore批量写入ElasticSearch

firebase、elasticsearch、google-cloud-platform、google-cloud-firestore

目前，我正在为我的数据库使用Firestore，并且我有一个用户集合。每当用户文档被创建或更新到用户集合时，云函数就会接收用户文档，并将其保存在El154搜索中。我开始关注这个体系结构的可伸缩性。例如，假设数千个云函数开始一次向Elasticsearch写入文档，那么Elasticsearch将处理这个负载。谷歌云有更好的解决方案吗？例如，这些云函数能否在队列中写入用户文档，并在队列的另一端具有云功能，获取100个文档并将它们大容量

浏览 2提问于2021-07-17得票数 1

回答已采纳

1回答

如何在数据存储和存储之间进行“事务”

google-app-engine、google-cloud-datastore、google-cloud-storage

我有一个文件，将存储在谷歌存储。然后，我需要在我的数据存储中存储关于这个文件的数据，这样我就可以找到这个文件了。如果我得到该文件并将其发送到存储，然后发生了一些事情，导致不将任何信息存储在数据存储中，那么该文件将存在，但我无法找到它。是否有什么技术或方法，使整个过程在一个“事务”？

浏览 3提问于2017-03-20得票数 1

回答已采纳

1回答

将数据从Oracle云推送到Google

oracle-cloud-infrastructure

我需要将Oracle云数据推送到。这不是Prem上的Oracle，本质上是将Oracle EDMCS元数据和来自Oracle云对象存储的融合数据推送到云存储中的最佳方式。此外，从从Oracle到Google的数据推送开始，我如何才能作为管道建立端到端监控。

浏览 5提问于2022-07-29得票数 0

1回答

如何将数据从Google存储动态读取到云运行？

google-cloud-platform、google-cloud-storage、cloud、google-cloud-run

我有一个在Google云上运行的破折号应用程序，这个应用程序需要一些数据才能工作，它从Google云存储中读取它。谷歌云存储中的这些数据每周更新一次，我正在寻找一种方法来读取新数据，而不需要每周重新部署一个新版本的应用程序。否则，应用程序将读取存储在内存中的数据(旧数据)。我试图调用一个函数来下载新数据(在<e

浏览 3提问于2022-07-20得票数 0

2回答

直接下载数据到google云存储

python、google-cloud-platform、google-cloud-storage、bucket

我想从python应用程序/命令(例如: youtube-dl或从第三方url下载的任何其他库)直接下载数据到google云存储(Bucket)。我使用gsutil流命令直接将数据从进程流流到gcs，但它只保存了控制台输出的到桶。另外，我不想挂载存储，因为我想与分布式系统共享存储有什么方法可以不先在文件系统上下载，然后再复制到google</e

浏览 1提问于2018-10-03得票数 4

回答已采纳

3回答

将数据从一个项目中的防火墙转移到另一个项目的gcp防火墙

firebase、google-cloud-platform、google-cloud-firestore

我希望在Firebase项目中将Firestore中的数据传输到另一个(仅限于GCP)项目中。文件ID在转移后会改变吗？

浏览 20提问于2021-12-29得票数 0

回答已采纳

1回答

如何通过Python将视频上传到？

python、google-app-engine、google-cloud-storage

我想添加一个功能，用户可以上传图像或视频从电脑到谷歌云存储。我看过几次Google文档。也许我不够聪明，不能很快掌握工作原理。如果有人能给出一个非常简单的整个过程的例子，从用户通过POST表单上传文件到将文件存储在Google云存储中，以及如何将文件路径存储在NDB数据存储中，以及如何检索文件并将其呈现给用户

浏览 3提问于2016-01-29得票数 3

回答已采纳

点击加载更多