SDK: Apache Beam SDK for Go 0.5.0 我们在Google Cloud数据流中运行Apache Beam Go SDK作业。它们一直工作得很好，直到最近才间歇性地停止工作(没有对代码或配置进行任何更改)。出现的错误是： Failed to retrieve staged files: failed to retrieve worker in 3 attempts: bad MD5 for /var/opt
浏览 7提问于2018-12-18得票数 6
1回答
我们在GCP中创建了一个ETL，它从MySQL读取数据并将其迁移到BigQuery。为了从MySQL中读取数据，我们使用了beam-nuggets库。这个库作为额外的包('--extra_package=beam-nuggets-0.17.1.tar.gz')传递给数据流作业。云函数用于创建数据流作业。代码工作正常，创建了Dataflow作业，数据迁移成功。 在
浏览 27提问于2021-03-19得票数 0
回答已采纳
我想检查一下在文章"“中也提到的类似错误。2021-03-10T06:02:26.115216545ZWorkflow failed.asia-south1, error: Cannot read and write in different locations: source: US, destination: asia-south1
这是我尝试使用云
浏览 12提问于2021-03-12得票数 0
回答已采纳
我在Ubuntu18.04.6LTS上使用gitlab版本14.4.0和dockerVersion20.10.11，我为跑步者使用的机器是一个强大的Supermicro。我们的Gitlab CI在gitlab云上(SAAS)错误:作业失败(系统失败)：无法连接到unix:
浏览 5提问于2021-11-25得票数 0
我正在使用以下命令在云存储中创建和暂存gcp数据流模板：
mvn -X compile exec:java -Dexec.mainClass=main.java.TemplatePipeline -Dexec.argshv-hcap-development --stagingLocation=gs://my-bucket/staging --templateLocation=gs://my-bucket/templates/templa
浏览 3提问于2020-07-18得票数 1
我正在使用composer为到达到BigQuery的GCS文件编排ETL。我有一个云函数，它在文件到达时触发进程，云函数将文件名/位置传递给DAG。在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的
浏览 0提问于2019-01-09得票数 3
回答已采纳
1回答
我在VSTS构建定义中设置了一个非常基本的任务，其简单步骤和目标如下：
将jar文件放到构建代理的暂存目录中。基于JFrog网站www.jfrog.com中的
浏览 0提问于2018-09-13得票数 1
我的测试管道真的很简单。它尝试从通过控制台创建的主题中读取。：
我在文档中找不到任何东西，我尝试解决这个问题的尝试也没有成功。溶液
Google
浏览 2提问于2016-03-23得票数 1
回答已采纳
我正在尝试在64位操作系统上执行SSIS 2008包，并将Excel 2003文件导入SQL Server 2008。我已经创建了一个指向Excel文件的OLEDB连接，该连接字符串从ForEach循环容器内的一个变量中检索Excel文件。
Run64BitRunTime设置为false。我无法在数据流任务中编辑OLEDB源上的SQL命令。它返回
浏览 3提问于2009-08-04得票数 0
后台：我的web应用程序使用创建的服务帐户调用数据流，在复活节周末之前，它运行良好。但从那时起，当作业提交并尝试在我的google云存储桶上创建暂存文件夹/文件时(这是与数据流相同的项目)。发布：我遇到了以下问题，更糟糕的是，它甚至不一致。目前，我会说，约1/4的工作成功并
浏览 20提问于2022-04-20得票数 0
我已经编辑了整个问题，首先我的问题是如何执行SSIS包，但现在我有了通过Server代理作业来执行它的解决方案，但是当我试图执行Server代理作业时，我会出错，当我在历史上查看时，会显示以下消息请注意我通过SQL中的SSIS包将数据插入数据库的表，这是SQL造成的问题吗？-更新的<
浏览 0提问于2013-10-08得票数 0
我们正在使用构建数据管道，并试图在Dataflow上运行，但是得到以下错误，我们尝试增加内存大小、工作人员数量等，但仍然得到相同的错误。这是我们使用的命令，--project=xyz \--staging
浏览 0提问于2018-03-23得票数 4
回答已采纳
2回答
我有一个需要触发云功能的需求，一旦文件被放入另一个项目的google云存储桶中，云函数就会触发数据流作业。谷歌文档说这是不可能的，请看这里的
看起来这是一个权限问题，如果获得了必要的许可，这将是可行的
浏览 1提问于2021-03-12得票数 0
回答已采纳
我正在工作的投标2008 SSIS包在到达包中的任何数据流任务时失败了验证。我能够运行的SSIS包在投标2008在我的计算机本地。当我通过SQL代理作业运行SSIS包时，该包将失败，下面的错误消息如下所示。我已经研究了错误代码0x80004005和错误代码0xC004706B通过谷歌搜索，但没有发现任何有用的东
浏览 3提问于2014-08-14得票数 0
1回答
执行过程任务错误
、、、
“，进程退出代码为"-532459699”，而预期为"0"。创建作业并通过有效的ProxyID执行它。
在包中，有多个数据流任务、批处理文件(由流程任务执行)和最终的app.exe文件(由进程任务执行)。以上错误来自上一个.exe文件(ProxyID对此文件位置有正确的访问权限)。
浏览 1提问于2015-05-11得票数 0
2回答
长话短说，我有一个cron任务，每天在指定的时间将一堆文件上传到云存储桶中。所有这些存储桶都有一个关联的发布/订阅通知主题，该主题在文件创建事件时触发。每个事件都会触发一个数据流作业来处理该文件。问题是，这会在几秒钟内实例化100个并行批处理作业。每个作业都用HTTP请求猛烈抨击我的下游服务。这些服务无法足够快地扩展，并开始抛出连接被拒
浏览 2提问于2021-06-11得票数 0
我正试图使用AWS AppFlow来吞食谷歌广告、和AWS S3。虽然我已经成功地使用GoogleAds连接器创建了连接，但我无法将数据摄取到S3。从AWS控制台执行的步骤：步骤2:配置源和目标。最近创建的Google连接被选择为源，AWS S3桶作为目的地。流触发器设置为“按需运行”( )我遵循了来自的所有步骤
在</e
浏览 16提问于2022-08-03得票数 1
回答已采纳
我在数据流上做的工作遇到了麻烦。下面是上下文，我使用以下路径在bigquery上创建了一个数据集现在，我想在数据流上运行一个作业，然后在google我可以看到一个新作业正在排队，但大约5分钟后，作业就会失败，并得到以下错误消息：
错误2021-
浏览 1提问于2021-09-29得票数 1
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
