1回答
我正在尝试使用云数据流来处理相当数量的记录。我的源是google云存储，我的目标是cloud SQL(MySQL)。我有以下代码要写入接收器(Cloud SQL)。DirectRunner运行管道时，上面的代码运行得很好。例外情况如下： java.lang.NullPointerException
at org.apache.beam.sdk.io.jdbc.JdbcIO$Write$WriteFn.executeBatch(JdbcI
浏览 41提问于2019-12-05得票数 0
回答已采纳
1回答
有一个将表数据从BigQuery复制到CloudSql的管道。 云SQL表的创建发生在数据流之外。 现在我们需要在数据流中创建表。 我有表格要创建在GCS存储桶中作为.sql文件。下面是将表从BQ复制到sql的代码片段。withTemplateCompatibility()
.apply(JdbcIO.withPreparedStatementSetter(new State
浏览 75提问于2021-09-20得票数 1
回答已采纳
当将简单记录写入管道末尾的Postgres表(可能是任何db)时，一些潜在记录违反唯一性约束并触发异常。据我所知，没有一种直接的方法来优雅地处理这些问题--管道要么完全出错，要么取决于跑步者，进入一个无休止的死亡螺旋。
在beam 中，似乎没有提到这种情况下的错误处理。at org.apache.beam.sdk.io.jdbc.JdbcIO$Write$WriteFn.executeBatch (JdbcI
浏览 0提问于2019-05-31得票数 2
回答已采纳
我有一个Apache光束管道，它试图在从BigQuery读取数据后写入Postgres。代码使用JdbcIO连接器和数据流运行器。我使用的是Python 3.8.7和Apache Beam 2.28.0 我在使用默认的扩展服务。我还尝试运行自定义扩展服务，但仍然收到相同的错误。有什么想法吗？_obj_type.from_runner_api(
File "/Users
浏览 12提问于2021-03-23得票数 0
回答已采纳
我有一个SQL表，大约有1TB的数据，我想ETL这个表到GCS。我不明白的是Apache beam是如何读取表的，它是以块为单位的吗?如果是，那么块的大小是多少，我如何配置它？另外，在失败的情况下，作业是否从它离开的地方开始？
浏览 1提问于2020-05-08得票数 2
我正在尝试使用apache中可用的jdbcio连接器从mysql读取一些数据。由于我想使用默认的扩展服务，按照文档：，我安装了Java并确保java命令是available.And，然后我尝试运行以下代码。我使用的是Python版本3.9.6和apache版本2.35.0import apache</
浏览 24提问于2022-01-27得票数 0
在pipeline.apply()中，它给了我编码器的NullPointerException。 at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:228) at org.apac
浏览 0提问于2016-11-10得票数 1
setCoder(RowCoder.of(schema)).setRowSchema(schema);
我们正在测试光束，看看它是否适合我们的使用上面是一个简单的例子。at org.apache.beam.sdk.util.UserCodeException.wrap(UserCodeException.java:39)
at org.apache.beam.sdk.io.jdbc.J
浏览 6提问于2021-08-10得票数 0
回答已采纳
我可以使用JDBCIO和Avro Coder访问mysql表。现在，我正在尝试使用JdbcIO加载我的蜂巢数据库。下面是从数据流连接到蜂巢时抛出的异常。梁极客的任何帮助都会很有帮助。Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/reflect/AvroSchema
at org.ap
浏览 2提问于2017-07-03得票数 0
1回答
我使用运行火花流道作为管道流道在apache中，并发现了一个错误。得到错误后，我的问题就成了问题。我知道错误是由于sql查询中的Column_name错误造成的，但我的问题是如何在IO级别处理错误/异常。' in 'field list'a
浏览 0提问于2018-11-01得票数 2
回答已采纳
1回答
我们在我们的google云平台中使用apache beam，并实现了一个写入postgres数据库的数据流作业。然而，我们注意到，一旦我们开始同时使用两个JdbcIO.write()语句，我们的流作业就开始抛出如下错误： Operation ongoing in step JdbcIO.WriteVoid/ParDo:356)
at org.apache.commons.dbcp2.PoolingDataS
浏览 43提问于2021-08-05得票数 0
我正在使用apache beam和google cloud dataflow将信息插入到云SQL数据库中。到目前为止，这已经很好地写入了一个表。正在发送的信息正在被加宽，包括发往数据库中另一个表的信息。 我很好奇，是否有一种方法可以根据我收到的信息动态地使用SQL查询，或者我是否能够以某种方式创建管道来执行多个查询？两者都不管用..。或者，我必须创建一个单独的管道吗？干杯, 编辑:添加我当前的<em
浏览 20提问于2019-01-22得票数 0
回答已采纳
我是新手阿帕奇光束，我正在尝试连接到mysql数据库的google云实例。当我运行下面的代码片段时，它抛出了下面的异常。(PCollection.java:265)处的org.apache.beam.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:122)处执行setCoder(SetCoder)(Null)) at org.apache.beam.sdk.Pipel
浏览 6提问于2017-06-19得票数 0
当我从本地机器运行管道时，我可以更新驻留在云Sql实例中的表。但是，当我将它移到使用DataflowRunner运行时，下面的异常也会失败。当我运行这个程序时，我得到的例外情况如下：
Jun 22, 2017 6:53:58 PM org.apache.beam.runners.dataflow.util.MonitoringUtil$LoggingHandlerJun 22, 2017 6:53:58 PM org.apache.beam.runne
浏览 2提问于2017-06-22得票数 0
我有一个用例，即从GCS读取一个文件，然后通过Apache光束将其写入我们自己的数据仓库产品。我们有一个自定义的JDBC驱动程序(.jar)来连接仓库，我正在尝试使用Apache Beam的JdbcIO来执行ETL和maven-pom来管理依赖关系。有没有人能帮我理解一下如何在Apache光束中使用这个自定义的jar文件？
p.apply(JdbcIO.<KV<Int
浏览 11提问于2021-10-20得票数 0
我刚开始使用beam和Google数据流，我创建了一个简单的类，通过在下面编写这个类将数据从云sql迁移到弹性搜索(使用批处理)：
<groupId>org.apache.beam>
<depende
浏览 1提问于2020-02-11得票数 1
回答已采纳
在Python版本的JdbcIO中，WriteToJdbc有一个" statement“参数，该参数用于覆盖生成的insert语句。它似乎完全不起作用。
浏览 22提问于2021-03-25得票数 0
我们正在创建一个数据流管道，我们将从postgres读取数据并将其写入一个拼花文件。我们使用org.apache.beam.sdk.io.jdbc读取文件，使用org.apache.beam.sdk.io.parquet包写入文件。到目前为止，这是我的代码：
Pipeline p = Pipeline.create(PipelineOptionsFactory.fromArgs(args).withValidation().createmain&quo
浏览 1提问于2019-06-26得票数 2
回答已采纳
我正在使用Google Dataflow上的Apache Beam2.19.0Java JdbcIO连接到数据库。但是，由于数据库在私有网络中，我需要通过ssh服务器之间的ssh隧道连接到数据库。这是不是可以使用apache beam jdbc IO来实现？
浏览 33提问于2020-04-08得票数 2
1回答
我正在创建一个从jave jdbc到bigquery的管道，但是我想添加一个额外的步骤来检查某一列中的值是否满足大于4个字符的标准。我将使用什么方法？;import org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO;
importorg.apache.beam<
浏览 13提问于2021-07-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
