腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Apache
光束
库
[
org.apache
.beam.sdk.io.*]
获取
/
添加
GCS
文件
用户
定义
的
元
数据
、
、
、
、
我正在设置一个
数据
流管道,其中
的
一个操作是
获取
/
添加
GCS
文件
的
metadataUser提供
的
元
数据
。在一个独立
的
java应用程序中,我
使用
下面的方法来
获取
元
数据
,这些
元
数据
来自StorageObject类,但在
Apache
Beam
库
中找不到类似
浏览 7
提问于2019-06-25
得票数 0
回答已采纳
2
回答
如何
在
Apache
Beam Java SDK中
使用
来自
GCS
的
自
定义
JDBC jar
文件
、
、
、
、
我有一个用例,即从
GCS
读取一个
文件
,然后通过
Apache
光束
将其写入我们自己
的
数据
仓库产品。我们有一个自
定义
的
JDBC驱动程序(.jar)来连接仓库,我正在尝试
使用
Apache
Beam
的
JdbcIO来执行ETL和maven-pom来管理依赖关系。有没有人能帮我理解一下
如何
在
Apache
光束
中
使用
这个自
定义
<
浏览 11
提问于2021-10-20
得票数 0
1
回答
为上传到GCP存储桶
的
文件
提供自
定义
元
数据
的
正确方法是什么?
使用
node.js sdk
、
、
我一直在努力为上传
的
文件
提供自
定义
元
数据
。以下是代码: destination: filedirfilename, custom1: 'customValue1', },<em
浏览 6
提问于2022-12-04
得票数 0
1
回答
如何
使用
读取txt
文件
并转换为
数据
帧?
、
、
、
我
的
txt
文件
包含没有任何分隔符
的
股票市场
数据
。因此,我必须将其转换为结构化列,并
使用
管道将其转换为
数据
框架。任何帮助都将不胜感激。
浏览 7
提问于2022-01-17
得票数 1
2
回答
用于
获取
自
定义
元
数据
列
的
SharePoint REST
、
我正在开发一个插件,用于在处理文档后将文档导出到SharePoint存储
库
。与文档一起,我需要为SharePoint中
定义
的
自
定义
元
数据
列发送值。 我已经知道了
如何
将跨
文件
和
元
数据
发送到指定
的
位置。问题:最初,我不知道给定
文件
夹中有哪些自
定义
元
数据
列可用。是否有人能了解任何REST for服务,这些服务可以为存储
库</e
浏览 1
提问于2015-12-09
得票数 0
回答已采纳
1
回答
数据
流写入
GCS
存储桶,但
文件
名中
的
时间戳未更改
、
、
、
、
我有一个关于
Apache
光束
的
问题,特别是关于
数据
流
的
问题。 我有一个从cloudsql
数据
库
读取并写入
GCS
的
管道。
文件
名中有一个时间戳。我希望每次我运行它时,它都会生成一个带有不同时间戳
的
文件
。Beam从postgres
数据
库
读取并写入
文件
(而不是
gcs
)。它工作得很好。生成
的
文件
浏览 3
提问于2020-08-19
得票数 0
1
回答
如何
将字典作为PCollection返回?
、
、
、
我得到了谷歌云桶
的
URL。我必须: 我有上千个小波包,所以这需要用
浏览 2
提问于2018-05-24
得票数 1
2
回答
只共享
文件
夹
的
CMIS服务器是-是吗?
、
CMIS是一种访问文档
文件
服务器
的
协议。 我知道
的
所有CMIS服务器都以不透明
的
方式将
文件
以不透明
的
方式存储在本地,并将真正
的
文件
名存储在
数据
库
中。是否有CMIS服务器以这样
的
方式存储
文件
,以便它们可以在服务器上本地
使用
?换句话说,服务器只会通过CMIS公开一个本地
文件
夹,并在这个本地
文件
夹中
的
文件<
浏览 0
提问于2014-05-19
得票数 6
回答已采纳
2
回答
如何
从
数据
流工作进程对
gcs
blob进行签名
、
、
、
我
的
beam
数据
流作业在本地成功(
使用
DirectRunner),在云上失败(
使用
DataflowRunner) 此代码片段中
的
本地化问题: class SomeDoFn(beam.DoFn):def process(self,
gcs
_blob_path): bucket =
gcs
_client.get_bucket:"AttributeError:您需要一个私钥
浏览 19
提问于2020-01-02
得票数 1
回答已采纳
1
回答
如何
在Firebase中从
数据
库
触发
的
云函数中访问
文件
元
数据
?
、
、
、
我有一个项目,
使用
Firebase工具来存储图像在Firebase存储和各种
数据
在实时
数据
库
中。 我有一个云函数,它是由
数据
库
更改触发
的
。在这个函数中,我需要访问特定
文件
的
元
数据
来
获取
一些信息(我不需要修改元
数据
)。 这就是我访问
文件
的
方式。const
gcs
= require('@google-c
浏览 12
提问于2019-01-10
得票数 0
回答已采纳
1
回答
如何
区分中
的
编写器和清除器?
、
、
我正在
使用
来保存我
的
应用程序
用户
上传
的
照片。我正在
使用
服务帐户对请求进行
GCS
身份验证。如果
用户
希望将照片上传到
GCS
的
桶中,则执行以下步骤。Android客户端
使用
访问令牌对
GCS
端点进行身份验证,并将照片上传到
GCS
的
桶中。 照片
的
元
数据
被保存到我
的
数据
库</
浏览 7
提问于2015-09-03
得票数 0
回答已采纳
1
回答
如何
将
文件
上传到云存储?
、
、
我有一个
使用
Cloud SQL来存储
数据
的
Google Cloud Endpoint。我想为客户端提供
文件
上传,
文件
应该存储在云存储中,但我也想在云SQL中存储
文件
元
数据
和
文件
存储url。这样做最好
的
办法是什么?我
如何
更新我
的
数据
库
实体,它需
浏览 2
提问于2014-05-30
得票数 3
2
回答
是否可以
使用
自
定义
函数从BigQuery中读取
gcs
对象
的
元
数据
、
、
我正在从
GCS
对象(
使用
csv和json
文件
类型(在单独
的
表中))向BigQuery表中摄取
数据
,我想执行
数据
验证,因此在将
文件
上传到
GCS
期间,我已经在
文件
元
数据
中存储了行数,现在在摄取完成后,我想验证摄取表中
的
行数是否与
文件
元
数据
中
的
行数匹配注意:我想过在UDF中利用js
的
可用性,但它不允
浏览 40
提问于2021-06-16
得票数 0
3
回答
将
元
数据
存储到Jack兔子存储
库
中
、
、
、
有谁能向我解释一下,在下面的场景中该
如何
进行?接收
文件
(MS docs、ODS、PDF) 我对第三和第四点感兴趣..。详细信息:应用程序正在交互地处理文档(一些分析-语言检测、单词计数等)+收集尽可能多
的
详细信息-都柏林
浏览 9
提问于2011-03-01
得票数 8
回答已采纳
3
回答
如果我只知道gs方案URI,那么
如何
使用
浏览器从
GCS
检索
文件
?
、
如果我有gs:// URI,
如何
从(
GCS
)检索
文件
或目录列表?例如,Google DataFlow示例应用程序MinimalWordCount
使用
gs://DataFlow samples/莎士比亚/*。我认为它是公开访问
的
,因为我
的
应用程序可以阅读它。但是,在不编写DataFlow应用程序
的
情况下,我
如何
下载
文件
呢? 我确实看到了这个,但是它只处理
如何
识
浏览 5
提问于2015-12-11
得票数 1
回答已采纳
1
回答
如何
用IAM将
文件
从google云实例上传到云存储?
、
、
我想要
文件
自动上传从云VM到云存储。有没有办法做到这一点,而不把谷歌访问键ID
的
实例?
浏览 1
提问于2016-08-28
得票数 1
回答已采纳
2
回答
如何
为动态生成
的
对象
获取
有效
的
that存储密钥?
、
、
我有一个用例,需要动态生成csv/txt
文件
,然后将
文件
的
密钥保存到
数据
存储,以便以后可以下载该
文件
。我似乎有一个问题,生成一个有效
的
密钥,以
使用
费里斯
的
下载uri。如果我试图将"another_key“保存到我
的
模型中,它就可以毫无问题地存储密钥,但是当我试图通过appengine仪表板中
的
数据
存储查看器访问实体时,它会告诉我它不是一个有效
的
密钥。因此,当我尝
浏览 1
提问于2015-02-18
得票数 2
回答已采纳
3
回答
如何
在Google中设置环境变量/应用程序机密
、
、
、
问题是,
如何
设置应用程序机密以使其在application.yml中可用?false hostname: localhost password: ${EUREKAPASSWORD}不巧
的
是,我不知道
如何
将这些值注入我
的
*.yml
文件
中。还有一件更重要
的
事要补充。我
使用
maven appengine
浏览 5
提问于2017-03-18
得票数 16
1
回答
如何
以编程方式将
用户
从wordpress环境外部
添加
到wordpress
、
我正在编写一个脚本,将
数据
从文本
文件
导入到wordpress中。 这些
数据
需要访问帖子、
用户
、自
定义
字段和帖子
元
数据
。为了导入它,我在
用户
表中查找作者,
获取
ID (如果不存在就不能生成),然后插入post
数据
,
添加
post
元
数据
,并
获取
远程图像以插入和
添加
这些图像作为post
元
数据
。我正在从客
浏览 1
提问于2012-12-07
得票数 0
回答已采纳
1
回答
Python/
Apache
-束:
如何
将文本
文件
解析为CSV?
、
、
我对Beam还不熟悉,但是您是
如何
从
GCS
桶中
的
CSV
文件
中读到
的
呢?从本质上讲,我是
如何
使用
Beam将这些
文件
转换成熊猫
数据
的
,然后应用一个sklearn模型来“训练”这些
数据
。我所见过
的
大多数示例都预先
定义
了头,我希望此束管道能够概括为任何
文件
,其中
的
标题肯定是不同
的
。有一个名为beam_utils
浏览 4
提问于2020-01-30
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
支撑PB级数据的架构、技术选型案例解析
从目录信息泄露到渗透内网
Kerberos和Apache Sentry干货实践(下)
Apache Sentry:加强的细粒度的基于角色的授权系统
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券