1回答
将数据从Google云存储中移出/流式传输的最佳方式是什么？另外，Dataflow是否提供了将数据从Google云存储流式传输到外部GCP的功能？
浏览 0提问于2018-07-17得票数 0
我需要使用python脚本通过pubsub将文件批处理/流式传输到google云存储中。我已经使用了下面的python文件，能够看到从topic发布到订阅的消息，现在我想将这些单独的消息上传到一个文件中，需要加载到云存储中。你能建议我们在哪里可以修改以下脚本中的代码，将消息数据作为文件加载到云存储中(批量处理单个消息)
在path下面我们有python脚本: python-docs-samples/
浏览 1提问于2018-04-20得票数 0
我们正在开发一个POC，我们希望在该POC中将我们的网络日志流式传输到google云存储。我们了解到google云存储上的对象是不可变的，并且不能从java api中追加。然而，我们可以做流式传输使用gsutil根据这个链接现在我们想写每小时文件。有没有办法像logrotate那样每小时更改一次文件名？
浏览 1提问于2015-10-15得票数 0
我发现Google ml引擎需要云存储中的数据，大查询等。有没有办法将数据流式传输到ml-engine。例如，假设我需要使用WordPress或Drupal站点中的数据来创建tensorflow模型，比如垃圾邮件检测器。一种方法是将整个数据导出为CSV，然后使用google- cloud --php库将其上传到云存储。这里的问题是，对于每一个微小的变化，我们都必须上传整个数
浏览 6提问于2017-07-12得票数 0
3回答
我有一个部署在Google App Engine上的python web应用程序。
我需要抓取存储在亚马逊S3上的日志文件，并将其加载到谷歌云存储中。一旦数据在Google Cloud Storage中，我可能需要执行一些转换，并最终将数据导入BigQuery进行分析。我想知道是否有人设法在两个云之间直接传输文件。如果可能的话，我想看一个简单的例子。最后，这项任务必须通过在GAE上执行的代码来完成。
浏览 1提问于2012-11-28得票数 5
现在，我在google云存储(GCS)上存储了大约300 GCS的图像。我有一个在google计算引擎(GCE)虚拟机(VM)上运行的软件，需要读取所有这些映像并按顺序处理它们。这些图像不需要加载到内存中，可以作为程序的输入进行流式传输。我很难找到一种有效的方法来做到这一点。1) GCSfuse。这允许我使用"gsutil cp gs:// my -gcs-bucket/training_ data /*.jpg -|“将<
浏览 1提问于2016-06-23得票数 2
我想通过谷歌云函数PubSub跳跳器将MQTT传感器数据流式传输到Google BigQuery。不知何故，我无法导入BigQuery ...const BigQuery = require('@google-cloud/bigquery')；
谢谢
浏览 2提问于2018-10-22得票数 0
我正在尝试创建一个云函数，将一些数据(来自firestore的文档)保存到云存储中。我希望看到一个简短的代码片段来实现这一点:)
浏览 18提问于2020-05-18得票数 1
回答已采纳
大家好，我正在尝试制作一些像流视频这样的网站，所以我使用了react (客户端)，node (服务器)，mangodb (数据库)，google cloude storage (视频云存储) 我的问题是，如何从nodejs导入文件到GCS并获得链接，这样我就可以将链接保存到mangodb中，然后我可以将视频流式传输到客户端，谢谢
浏览 26提问于2020-11-04得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
所以我正在做一个小项目，使用Google Dataflow和apache beam建立一个流管道。我看了一些教程，能够建立一个管道并将其流式传输到BigQuery中，但我希望将其流式传输到一个完整的关系数据库(即: Cloud SQL)中。我在这里有点困惑，因为当我查找如何做到这一点的信息时，所有这些都是指批量写入云SQL，而不是完全流传输。
我的简单问题是，我可以直接将数据流式传输到Cloud SQL中，还是必须通
浏览 4提问于2018-02-02得票数 2
回答已采纳
我在考虑使用云函数，我发送每个文件的URL，该函数在本地下载文件，然后将其上传到GCS。但是，要做到这一点，我需要一个大型Cloud Function实例(2 GB)。这些可能会变得相当昂贵--有没有一种方法可以使用较低的内存实例并将结果直接流式传输到GCS？
浏览 21提问于2021-09-08得票数 0
可以将Google Cloud函数中的fetch应用程序接口中的"ReadableStream“流式传输到存储桶中吗？假设从存储桶=> fs => fs管道流到存储桶(或不同存储桶中的新文件)，但AFAIK Cloud Func
浏览 3提问于2017-06-23得票数 0
我想使用Kafka将数据从本地流式传输到云(S3)。为此，我需要在源机和云上安装kafka。但我不想把它放在云端。我需要一些S3连接器，通过它我可以与kafka连接，并将数据从本地传输到云。
浏览 1提问于2017-03-29得票数 2
1回答
我已经在一台ubuntu机器上建立了一个mongodb数据库。是否有可能将我的本地mongodb数据流式传输到mongo cloud。当数据在我的本地mongodb上可用时，新的数据将被流式传输到mongo云。 如果是这样，我该怎么做呢？
浏览 12提问于2020-06-22得票数 0
回答已采纳
我正在尝试将数据从我的google云发布到一个网站。我已经创建了一个脚本，可以动态地将数据从我的设备上传到google云。我面临的问题是如何将数据从google云发布到网站。我只需要显示我在google cloud上的数据。
浏览 3提问于2020-08-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
