腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
一次
调用
中
的
管道
多步
数据
争论
/
转换
、
我正在使用list.files函数加载
数据
,该函数将多个.csv文件连接到一个
数据
框
中
。但是,我必须运行另一行代码来查找和删除满足特定条件
的
行。3个函数组合在一起,或者以一种语法
的
方式来编写,这样它就可以运行上面的所有内容,并从中创建一个单独
的
数据
帧。示例
数据
帧: Layer Time_M Date_M Sv_mean 2 1 19:22:23 20201
浏览 19
提问于2021-08-13
得票数 1
回答已采纳
2
回答
从Amazon
数据
管道
中
的
管道
调用
管道
、
、
、
我
的
团队目前正在寻找一个替代一个相当昂贵
的
ETL工具,目前,我们正在使用它作为一个光荣
的
调度器。我们使用自己
的
python代码改进了ETL工具提供
的
任何集成,所以我确实需要它
的
调度能力。我们正在考虑
的
一种选择是
数据
管道
,我目前正在试用该
管道
。 因此,我
的
问题是:假设我们有两个
数据
集来加载产品和销售。每个
数据
集都需要许
多步
骤来加载(获取源
数
浏览 4
提问于2015-04-14
得票数 0
回答已采纳
1
回答
KeyVault DevOps
的
秘密- Python
、
、
、
、
我有一个Azure密钥库定义
的
秘密,我可以在devops
管道
使用"Azure KeyVault“任务访问。现在,我需要将秘密变量传递给python内联脚本。由于它是加密
的
,python不能直接读取值。我怎么能解密和传递它们。秘密保存Databricks访问令牌。我们正在尝试使用DevOps
管道
创建Databricks集群。我
的
Yaml有以下任务 带有参数
的
Python内联脚本。
浏览 5
提问于2019-12-16
得票数 0
回答已采纳
1
回答
使用R脚本发布PowerBI仪表板时出错
、
我需要发布我
的
仪表板从PowerBI和有一些图形与R,在桌面应用程序工作得很好。当我试图出版它时,问题就来了。
浏览 2
提问于2022-11-08
得票数 0
3
回答
Google Cloud Data Fusion:如何将
数据
类型从字符串更改为日期?
有没有人知道如何在Data Fusion中将字符串
转换
为date,以便它以“Date”而不是string
的
形式写入目标?我们正在使用Data Fusion来使用来自GCS (Google Cloud Storage)
的
csv。
数据
融合检测字符串形式
的
所有字段,我们希望将其中一些实际为日期
的
字段更改/
转换
为BigQuery (目标)。这是作为
争论
的
一部分执行
的
,还是
管道
中
<
浏览 2
提问于2019-11-05
得票数 3
2
回答
每个
管道
的
数据
库作业集群,而不是每个笔记本活动
、
、
、
我正在不同
的
Databricks笔记本中
转换
数据
(读取、
转换
和写入ADLS)。我将这些笔记本合并在一个DataFactory
管道
中
:我已经从DataFactory创建了到我
的
数据
库
的
连接,并将它添加到我
的
笔记本活动
中
。每当
管道
被触发时,我想启动Databr
浏览 0
提问于2019-02-22
得票数 1
回答已采纳
1
回答
PHP在活动页面上显示后端脚本
的
输出
、
、
、
我有一个PHP
的
web应用程序。应用程序
的
一个组件是将
数据
提交到后端
管道
(也是用PHP编写
的
)。
管道
是一个外部脚本,我
的
应用程序使用'exec' php函数
调用
它。该
管道
是一个
多步
管道
,它执行多个程序,从以前运行
的
程序
中
获取输入。我希望能够在提交到
管道
的
应用程序页面上显示一条消息,并完成
管道
浏览 5
提问于2014-09-29
得票数 0
回答已采纳
2
回答
交叉验证在不使用火花-毫升
管道
的
情况下更快吗?
、
、
、
假设我在我
的
特性工程中有很
多步
骤:我会有很多变压器在我
的
管道
中
。我想知道,在
管道
交叉验证过程
中
,星火如何处理这些变压器:它们是否在每
一次
折叠
中
执行?在交叉验证模型之前,应用变压器会更快吗?这些工作流
中
哪一个是最快
的
(或者有更好
的
解决方案):transformer1 = ...tra
浏览 0
提问于2018-07-24
得票数 2
2
回答
单通计算与多通计算
的
区别
、
我正在读一篇关于Apache Spark
的
文章,我发现了以下几句话:搜索web生成关于
一次
通过编译器和多通道编译器之间差异
的
结果(例如,请参阅)。但是,我不太确定答案是否也适用于
数据
处理。有人能解释一下什么是单通计算和多通计算吗?为什么后
浏览 5
提问于2019-10-16
得票数 1
回答已采纳
1
回答
在ADF
数据
争论
中
剥离回车符不起作用
、
、
、
我目前正在尝试使用新
的
数据
角力
数据
流构建一个ADF
管道
,据我所知,它实际上是PowerBI
的
Power Query元素(我更像是一名PBI开发人员!)。在
数据
流
中
,我从SFTP位置拾取了一个CSV文件,并使用wrangle
转换
数据
并将其加载到SQL server
数据
库
中
。我可以明显地看到更改已经应用到post步骤
中
: 更改前:Example of pre change 更改后:Ex
浏览 22
提问于2020-08-28
得票数 0
1
回答
如何配置Azure DevOps发布
管道
来打包PowerShell脚本?
我是Azure DevOps
的
新手,我正在努力了解如何打包我正在开发
的
PowerShell脚本项目的发行版。 我以前很熟悉GitHub和起草我
的
项目回购新版本
的
手动过程。我现在正在试验Azure DevOps,我想要实现
的
是类似于GitHub
的
输出,在这个输出
中
,我
的
回购PowerShell脚本被打包到一个压缩文件
中
,我可以发布这个文件以供发布。我不熟悉Azure、DevOps或YAML
中
的
浏览 0
提问于2019-05-15
得票数 0
回答已采纳
1
回答
如何设置Jenkins
管道
以使用未提交给secrets.properties
的
GitHub文件
、
、
我有一个基于Springboot/Maven
的
应用程序,它使用secrets.properties文件来存储令牌。该文件包含一个键/值对,名为IEX_CLOUD_TOKEN=MY_TOKEN。在运行我
的
Jenkins
管道
之后,我得到了如下所示
的
错误。它失败是有道理
的
,因为secrets.properties不在GitHub
中
。当应用程序需要我
的
令牌时,我如何设置
管道
来使用它?然后,我向我
的
withCredentia
浏览 6
提问于2021-08-07
得票数 0
回答已采纳
1
回答
JAX-RS REST变量在请求之间共享
、
、
、
我正试图确定REST
的
最佳设计。我有许
多步
骤依次发生(
数据
操作
管道
),每个步骤都有单独
的
REST
调用
。另一种方法是在运行Java应用程序时将它们保存在内存
中
,但这似乎使系统具有状态。
浏览 0
提问于2018-09-14
得票数 0
回答已采纳
1
回答
执行
管道
时
的
“步骤”太多
我们有一个大型
数据
集,需要将其划分为1,000个单独
的
文件,我们想要使用
的
最简单
的
实现是应用PartitionFn,它在给定
数据
集
的
一个元素
的
情况下,返回1到1,000之间
的
随机整数。这种方法
的
问题是,它最终会创建1,000个PCollections,并且
管道
不会启动,因为似乎对“步骤”
的
数量有硬限制(与执行图中作业监视UI上显示
的
框相对应)。我们用来解决这个问题
的</em
浏览 0
提问于2016-12-03
得票数 0
1
回答
使用批量API推送
数据
我有一个工作
的
管道
,需要将
数据
写入我
的
目标系统,该系统提供一个“批处理web服务”,即我只能发布一个csv文件附件,而不能
一次
发布一个事务。我现在有一个两步
的
过程-我
的
管道
首先使用TextIO将
转换
结果写入云存储,然后另一个程序提取文件并
调用
batch API将
数据
推送到目标系统。如果我首先需要在
调用
批处理API之前准备csv
数据
,我如何才能使这成为一个单步过程?
浏览 2
提问于2015-05-24
得票数 0
1
回答
是否可以在Makefile中使用模式将文件名
的
中部从源映射到目标?
、
我有一组文件,看起来都是这样
的
:我在gnu
中
寻找允许这种
转换
的
模式替换,但是我还没有找到一些看起来能做我想做
的
事情
的
东西。我可以使用其他工具完成这种
转换
,甚至可以编写特定
的
规则,因为只有几个文件
浏览 0
提问于2018-11-08
得票数 1
回答已采纳
3
回答
在反应式表单域上应用
管道
的
热键
、
我有一个关于
管道
的
问题:假设有一个
管道
,它应用于反应式
的
领域在第
一次
将值设置为表单域时,它可以正常工作现在,有一个将模型与表单值同步
的
过程。如果表单字段被重置为与之前相同
的
值-
管道
将不会被
调用
。 你可能会说--只是不要再给表单设置相同
的
值,这样就对了。例如:如果视图
的
值为'
浏览 1
提问于2019-12-12
得票数 0
1
回答
云
数据
融合与Dataproc
、
、
、
云
数据
融合提供了使用图形
管道
UI表示创建ETL作业
的
能力,而Dataproc则允许我们运行以前创建
的
Spark/Hadoop/Hive作业。由于我在这两种服务方面的经验有限,我发现云
数据
融合在这两种服务
中
更容易使用和管理。我想知道在Dataproc
中
创建和运行作业比云
数据
融合更可取
的
用例。
浏览 0
提问于2022-05-09
得票数 3
回答已采纳
1
回答
fit方法在sklearn.preprocessing.Normalizer()
中
的
用途是什么?
、
根据sklearn.preprocessing.Normalizer()
的
fit(self,X)方法
的
文档,它什么也不做,并且返回
的
估计量不变。我理解,如果我打算对
数据
进行规范化,我可以简单地将
数据
传递给normalize ()函数。那么,什么是使用适合
的
方法。此外,规范化不是一种学习算法,那么为什么会有一个fit()方法呢?
浏览 0
提问于2019-10-10
得票数 0
1
回答
如何在
数据
工厂中将参数值从
管道
传递给他人?
我只想在ADF
中
定义
一次
参数,因为为了简单起见,我只想在DevOps
中
覆盖
一次
参数。子
管道
参数为"Database",它具有“值”。我有查找活动,它使
浏览 4
提问于2022-03-17
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Java Stream函数式编程?用过都说好,案例图文详解送给你
AMD-Xilinx 开源基于 LLVM的Nanotube 编译器
Java:Java 中的顺序流与并行流是什么?
详细剖析Oracle、SOA、OSB结构原理
大数据学习之Spark缓存机制
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券