我的云存储中有多个压缩的.log.gz文件。我使用Google Data Prep来处理文件，然后将它们传输到Big Query，但现在数据的大小相当大，这增加了使用data Prep的时间和成本。我想让这些.log.gz文件到大查询，以便能够在需要时手动完成任务。有没有办法将它们连接到Big query？
我尝试了Big Query transfer服务，但它对压缩文件不起作用。
浏览 24提问于2019-07-26得票数 0
我有关于谷歌大查询表的查询。我们目前正在寻找根据当天上传到云存储中的文件来查询大查询表。 含义： 我必须根据每天的数据将数据加载到大型查询表中，并将其加载到云存储中。当我查询时： select * from BQT where load_d
浏览 17提问于2021-01-12得票数 1
回答已采纳
例如：/somedir/server2/log.gz等等..。我需要的是一种方法：
对文件
浏览 0提问于2019-06-24得票数 0
回答已采纳
我想上传大的压缩文件从谷歌云桶到SFTP服务器，而不加载到内存和云功能。我正在使用pysftp进行SFTP传输。test', cnopts=cnopts) as sftp: sftp.put("zip_file_from_google_bucket")
我们能否访问存储桶中文件的os路径，并在sftp.put()中提供文件路径，因为gs:&#x
浏览 6提问于2022-08-04得票数 2
回答已采纳
1回答
我有一个包含html files和images的压缩文件，如何在不将压缩文件解压到文件的情况下将images与WebView中的loaded html链接，压缩文件被加载到内存中，并且我可以访问byte[]格式的图像数据
浏览 0提问于2012-05-17得票数 0
回答已采纳
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
浏览 2提问于2019-04-13得票数 1
回答已采纳
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
尝试使用“云存储中的批量解压缩文件”解压缩Google中的多个压缩文件夹。而不是解压缩文件的适当的子文件夹，它作为一个单一的明文文件。对原因有什么想法吗？
浏览 6提问于2022-05-19得票数 0
1回答
中的合并文件
、、、、
我将Google查询的结果以gzipped格式导出到云存储中。由于结果大约为28 in，它在云存储中显示为多个文件(53 In)。我可以用gsutil把它们下载到本地机器上。我如何将所有这些合并到一个文件中，比如linux中的result.csv.gz？
浏览 3提问于2016-12-13得票数 1
回答已采纳
1回答
我正在寻找一种方法来跟踪谁在谷歌云存储平台上从我们的公共链接中提取媒体。我们使用它为我们的网站提供音频和视频播客。我已经翻阅了谷歌的文档，却找不到解决方案。有什么想法？
浏览 0提问于2016-01-27得票数 0
回答已采纳
是否有任何方法直接将数据从云存储加载到表中的特定分区？我知道，Bigquery在预定的查询中有WRITE_TRUNCATE，但是如何将它与云存储结合起来呢？或者，这是将大量数据(5000万条记录)释放到Bigquery表中特定分区的其他方式吗？
浏览 3提问于2022-09-23得票数 0
1回答
我们正在手动将数据存储表(即种类)(作为云存储中的备份)加载到Big Query中。有什么方法可以转换(重命名等)吗？加载到大型查询之前的数据存储区列。在Big Query中加载数据存储区类型的备份时，似乎支持E(提取)和L(加载)功能，但不支持T(转换)功能。问题是，在我们的数据存储种类中，我们将列-键作为主
浏览 0提问于2017-02-24得票数 4
回答已采纳
2回答
我是谷歌云的新手，需要在云存储中提取扩展名为"xxxx.tar.gz“的文件并加载到BiQuery(多个文件到多个表)。我在nodejs中尝试了云功能，使用了npm模块，比如"tar.gz“和"jaguar"，两者都不起作用。
有人可以共享一些输入来使用其他语言(如python或Go )来解压缩文件。my work：到目前为止，我使用nodejs将手动复制到目标桶的文件解压缩，
浏览 4提问于2018-09-20得票数 0
我有一个S3存储桶，里面有各种各样的文件。其中一些文件非常大，比如8 8Gb、11 8Gb。最大的一个是14.6 is。
我在寻找压缩它们的方法。显然，我可以将它们下载到本地并压缩它们，然后将其放回存储桶中。我认为这不是实现它的好方法，因为我必须先下载文件，这是一个耗时的过程。在亚马逊网络服务云服务本身中，有没有什么方法可以让我直接压缩文件并将它们放回S3
浏览 4提问于2018-08-10得票数 0
我尝试了大查询导出到云存储功能，以节省一些钱。需要的是以AVRO压缩格式导出，以保持模式，并能够在需要时在Big Query上再次导入它们。因为Big Query使用未压缩的大小收取数据费用，而我的数据是高度冗余的，所以压缩后的数据应该减少到原来的20倍。
在UI界面上，导出到AVRO时没有压缩选项。所以我假设这将是默认的，但事实并非如此。它导出AVRO没有压缩，这对我来说没有任何意义，因为文件将是
浏览 5提问于2018-07-24得票数 1
我正在尝试使用pinterest secor将数据从google云存储加载到大查询，但是大查询使用诸如"2019-08-16 15:30:00“之类的时间戳，而secor JsonMessageParser使用长整数值(大查询可以使用整数，但由于某种原因，当试图将整数时间戳加载到大查询时，它会将秒转换为微秒(添加6个零)，然后抱怨时间戳超出范围)。无论我
浏览 0提问于2019-08-16得票数 0
回答已采纳
我已经通过从谷歌云存储加载CSV文件创建了一个BigQuery表。
在这种情况下，BigQuery表是引用云存储中的CSV文件，还是将数据复制到自己的存储中？
浏览 7提问于2016-07-26得票数 2
回答已采纳
这是一个疯狂的question...The客户端，它想要一个网络应用程序在没有连接到互联网的ipad上可用。我的第一个想法是，这将是一个使用HTML5的离线应用程序功能的绝佳机会，除了整个web应用程序(包括所有媒体)都是3 3GB的，而且显然所有的都必须是可用的。这超过了应用程序缓存的5MB限制。它可以是直接的HTML文件。有没有人知道，是否可以手动将整个网站复制到ipad上，然后在浏览器中轻松启动？我无法做到这一
浏览 0提问于2011-08-12得票数 8
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
