java数据流写数据 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

设计

google-cloud-platform、google-cloud-dataflow

我们需要您对以下场景的数据流设计提供指导。需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为50个独立的数据流作业。数据流是否会自动调整员工数量-而不会降低源MS服务器？关键信息:源: MS数据

浏览 4提问于2021-12-13得票数 -1

1回答

云数据流中读取拼图文件的自定义源

google-cloud-platform、google-cloud-dataflow、parquet、apache-beam、dataflow

我需要读取用java编写的数据流中的拼图文件，并上传到bigquery上。有没有人可以帮我写一些代码或文档，告诉我如何编写自定义源或任何其他方法来读取云数据流中的拼图文件。

浏览 0提问于2018-04-04得票数 0

1回答

如何在Android Renderscript中编写卷积乘法？

android、convolution、renderscript

我需要用RenderScript写一个卷积乘法，因为最终的应用程序将在安卓上运行。数据流将是一个图像。更具体地说，我不能使用forEach功能编写核心逻辑，虽然我可以用Java语言写，但速度太慢了！

浏览 1提问于2012-04-10得票数 5

1回答

扫描主页以获取更新并下载

talend

在我的工作中，我需要由我们的客户安装一个软件。我的问题是，是否也有一些方法，例如，让一个程序，每小时登录页面，并检查是否有新的版本。如果有新的，我想下载它。我正在使用talend open studio做很多工作，也许我可以在那里构建应用程序来做到这一点。

浏览 0提问于2015-10-14得票数 0

2回答

如何调度gcloud dataflowsql命令

google-cloud-dataflow、gcloud、schedule、dataflow、google-cloud-scheduler

我想安排我的数据流sql作业。这是我的gcloud命令 gcloud数据流sql查询'My SELECT查询‘--作业名称dfsql-2d7a0189-177fc4f9444 -us区域-east4 4-bigquery-写处理写-截断-bigquery-project dev-dp-myproject -bigquery-数据集mydataset -bigquery-table服务-帐户-电子邮件数据流-运行@myserviceaccount.iam.gserviceacco

浏览 2提问于2021-03-05得票数 1

2回答

SSIS :创建具有不同行格式的平面文件

sql-server、ssis、etl、ssis-2012、bids

文件有表头、中间数据行、表尾行。输入将来自不同的表，我计划写3个独立的查询/sp来获得标题，中间行和脚注行记录。

浏览 4提问于2017-04-08得票数 4

1回答

如何在Java上创建数据流图

java、eclipse、plugins

我是一名工程专业的学生，我学习了数据流图。我已经做了java文件的解析器。我找不到工具和插头我寻找数据流图起诉java程序插件或开源代码使用eclipse。

浏览 4提问于2012-05-06得票数 3

1回答

是否可以通过SSIS脚本转换传递列？

sql-server、ssis、etl

我有一个包含100+列的源代码。我需要通过一个脚本组件转换来传递这些内容，它只修改了几个列。有没有一种简单的方法可以让我没有修改的任何列简单地通过转换？目前，我必须将它们全部传入，并将它们分配给输出，而不做任何更改。这是100个专栏的大量工作，如果可能的话，我宁愿不要这样做！仅供参考:没有唯一的键，所以我不能使用多播拆分记录，并在脚本组件之后合并它们。

浏览 7提问于2019-02-21得票数 2

回答已采纳

1回答

不能将shell指向本地spring云数据流服务器？

spring、spring-cloud-dataflow

服务器-未知：>数据流配置服务器http://localhost:9393 无法联系位于‘http://localhost:9393’的数据流服务器：'java.lang.IllegalArgumentException服务器-未知：>数据流配置服务器'http://localhost:9393‘ 无法联系位于‘http://localhost:9393’的数据流服务器： 'j

浏览 21提问于2019-10-09得票数 0

回答已采纳

1回答

通过云功能订阅google发布/订阅消息，而不是使用数据流

google-cloud-functions、google-cloud-dataflow、google-cloud-sql、google-cloud-pubsub

我需要将这些数据实时放到cloudsql和bigquery中。数据正在以稳定的速度到来，关键是它们都不会丢失或延迟。将它们多次写入destination不是问题。数据库中所有数据的大小约为1 1GB。使用主题触发的google云功能与google dataflow相比解决此问题的优缺点是什么？

浏览 26提问于2020-02-27得票数 0

回答已采纳

2回答

Java源代码的数据流图创建器

java、reverse-engineering

我正在寻找Java源代码的数据流图创建器。请给我推荐同样的工具。

浏览 9提问于2010-10-28得票数 1

回答已采纳

3回答

java -非常快速地写入文件

java、file

我得到了一个快速的数据流(对象)，我想把它写到一个文件中。Java中有缓冲的文件对象吗？我应该自己管理它并使用writeLines()吗？

浏览 1提问于2011-05-23得票数 2

回答已采纳

1回答

加快Google Cloud Dataflow发布/订阅的读取频率

google-cloud-dataflow

我有一个从PubSub读取数据的Java数据流作业。数据流读取一条消息大约需要5秒。我怎么才能加快速度呢？我假设数据流是从PubSub中提取的，而不是PubSub将消息推送到数据流中。

浏览 0提问于2019-08-10得票数 0

1回答

NiFi:使用Java* API在不中断或停机的情况下修改流程*

apache-nifi

有没有办法使用Java API动态修改NiFi流？用例是将处理器添加到活动数据流(数据流经该数据流)。新处理器应在流程开始时添加，而不会造成应用程序中断或停机。如果Java API不可用，请随时建议替代方案。我已经看过了。谢谢。

浏览 3提问于2018-07-25得票数 0

2回答

在java中有没有好的数据流并发库？

java、clojure、dataflow

我目前正在研究并发的数据流模型，就像在Clojure和Groovy GPars中一样。有没有我可以从中受益的纯Java编写的库？我知道我可以导入或委托到Clojure或Java，但如果可能的话，我想要一个好的和专用的java API。

浏览 5提问于2012-11-07得票数 4

回答已采纳

5回答

通过“嘈杂”的数据流发送和接收数据

java、algorithm

我的Java程序将其数据保存到一个二进制文件中，并且(非常)偶尔该文件会因为硬件故障而损坏。通常，在几兆字节大小的文件中，只有几个字节受到影响。为了解决这个问题，我可以写两次数据，但这似乎有点过分了--我更喜欢将文件大小的增长限制在20%左右。在我看来，这类似于在“嘈杂”的数据流上发送信息的问题。是否有Java库或算法可以将冗余信息写入输出流，以便在引入噪声时接收器可以恢复？

浏览 1提问于2009-12-14得票数 3

回答已采纳

1回答

如何使用ssis将数据从表加载到维度

ssis、etl

我想从表中加载数据到维度，我不知道使用什么(控件)，我是一个初学者，我所需要的只是一个视频教程，可以帮助这种情况。这对我来说似乎很难，因为维度与太多的表相关，将数据从自然表加载到维度表需要对数据进行转换，我还想知道如何转换数据…… 我使用的是adventureworks和adventureworksDW数据源，我想将数据加载到

浏览 2提问于2011-12-10得票数 0

1回答

PySpark HDFS数据流读/写

python、apache-spark、hadoop、pyspark、hdfs

我不想用Spark DFs做这件事，而是用数据流做HDFS交互。到目前为止，我的代码如下：sc = SparkContext() in_stream.close() 这段代码的第一个问题是，我不确定如何通过缓冲区从输入流中读取数据

浏览 20提问于2019-11-16得票数 0

回答已采纳

2回答

数据流-写BigQuery -元组字典

python、apache-beam、dataflow

我试图在beam管道上执行最后一次转换(使用Google作为运行程序，但要测试DirectRunner)，并且很难理解如何将行从元组更改为字典。我尝试使用一个自定义类来执行ParDo函数，该类将tuple转换为dict。我添加到TupToDict函数中的调试输出如下，所以我认为它应该能工作吗？任何帮助都很感激..。(我脱发后秃顶了。)为了测试我改变了方向。我也有'xxxxx‘的项目信息，等等。(u'A3VZVMI3JWCFPD', 5.0)avg_rating= 5.0 {

浏览 3提问于2020-01-30得票数 0

回答已采纳

5回答

在Java中使用对象数据流还是原始数据流更有效？

java、object、io、stream

在Java中执行I/O操作时，是使用像ObjectInputStream这样的对象数据流还是使用像DataInputStream这样的原始数据流更有效(就计算资源而言如果使用对象数据流更有效，那么当我们考虑到与创建对象相关的开销(尽可能少)时，对象数据流是否仍然更有效？

浏览 0提问于2011-01-16得票数 2

回答已采纳

点击加载更多

设计

云数据流中读取拼图文件的自定义源

如何在Android Renderscript中编写卷积乘法？

扫描主页以获取更新并下载

如何调度gcloud dataflowsql命令

SSIS :创建具有不同行格式的平面文件

如何在Java上创建数据流图

是否可以通过SSIS脚本转换传递列？

不能将shell指向本地spring云数据流服务器？

通过云功能订阅google发布/订阅消息，而不是使用数据流

Java源代码的数据流图创建器

java -非常快速地写入文件

加快Google Cloud Dataflow发布/订阅的读取频率

NiFi:使用Java* API在不中断或停机的情况下修改流程*

在java中有没有好的数据流并发库？

通过“嘈杂”的数据流发送和接收数据

如何使用ssis将数据从表加载到维度

PySpark HDFS数据流读/写

数据流-写BigQuery -元组字典

在Java中使用对象数据流还是原始数据流更有效？

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐