大数据流批一体 - 腾讯云开发者社区

文章/答案/技术大牛

发布

4回答

有哪些编程语言是用于机电一体化的？

programming-languages、robotics

有没有专为机电一体化编程而设计的语言？我知道LabView，这是一种数据流语言，但不确定它的主要平台。除了c/c++之外，你能向我推荐一些语言吗？用于机电一体化(机器人、传感器编程等)主题的任何语言。

浏览 0提问于2012-11-27得票数 1

回答已采纳

1回答

如何在python或excel中将一列中所有重复的值设置为空白单元格

python、pandas、excel-formula

我有一大批美国公司季度市值的数据。一些公司要么被摘牌，要么被其他公司收购。数据流会自动重复此日期之后的最后一个可用值。我需要将所有这些重复值更改为空白单元格，直到我的数据集的最后一次观察。

浏览 77提问于2021-07-02得票数 0

2回答

Spark Streaming -计数状态中的不同元素

python、scala、apache-spark、spark-streaming、spark-dataframe

我有一个包含VideoID-UserID的键值对的数据流，按VideoID计算不同的UserID组的最佳做法是什么？foo,1如上所述，我想随时通过删除冗余的foo,1和bar,2来获得VideoID-CountUserID，所以结果应该是：bar: 2该怎么做呢？我正在开发Spark 1.6，但是后续版本的答案是可以接受的。Python代码如果可能的话。

浏览 2提问于2017-03-07得票数 2

1回答

数据流作业GCS到Pub/sub最大批次大小

google-cloud-platform、google-cloud-storage、google-cloud-pubsub、google-dataflow

我将默认的数据流模板GCS用于Pub/Sub。云存储中的输入文件大小为300 of，每一行有2-3百万行。启动数据流批处理作业时，会引发以下错误从文档中可以看到: Pub&#x

浏览 6提问于2020-08-26得票数 1

1回答

tensorflow验证监视器流auc

python、tensorflow

另外，假设验证监视器的input_fn函数将产生数据流。让我们假设10批。因此

浏览 5提问于2017-06-09得票数 1

回答已采纳

1回答

SimpleMessageListenerContainer大容量消息处理

java、spring、rabbitmq、spring-amqp、spring-rabbit

我有一个传入的数据流，作为单独的消息发送到RabbitMQ。我想将这些信息发送到需要一批消息的服务中。当我有一批1000条消息或5秒过期时，我需要将请求发送到服务。我目前有一个通道感知监听器，它将消息批处理到一个大容量处理器中，该处理器将管理我的超时和队列长度。SimpleMessageListenerContainer被设置为手动ack。

浏览 2提问于2015-12-24得票数 2

回答已采纳

1回答

火花流-我如何通知消费者一旦生产者完成？

scala、apache-kafka、spark-streaming、kafka-producer-api

一旦notify Consumer将所有数据发布到Kafka topic，Producer是否有可能我曾想过要使用Sliding window，但问题仍然是，我们不知道生产者是否完成了发布数据？目前，我们计划使用多个分区来基于Default Partitioner拆分数据。更新：每隔十五分钟，生产者就会得到数据

浏览 0提问于2016-11-12得票数 2

回答已采纳

1回答

如何使用数据流配置文件导出前100个产品

php、magento、magento-1.8

如何使用magento内置数据流配置文件功能仅从magento导出前100个产品。我想出口第一批产品，但我的店铺上有20000种产品，所以我想出口1000种产品。等待建议。

浏览 0提问于2014-04-03得票数 2

1回答

在作业中读取bigtable上的大型查询表花费的时间太长

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-bigquery-java

我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。任何关于如何提高阅读性能的建议。

浏览 10提问于2022-12-02得票数 1

1回答

请查找以下测试作业详细信息: JobID : 2017-10-17_22_03_20-14123260585966292858作业名称:limit-test- find 12-1508302687176批次原因：(b2725d597b8162b3)：数据流似乎卡住了。请联系我。(b2725d597b81635e)：工作流失败。原因：(b2725d597b8162b3)：数据流似乎卡住了。请联系的数据流团队。谢谢，Prasad Kedari

浏览 2提问于2017-10-18得票数 0

1回答

是否有一个变量来识别火花流中的每一批数据？

apache-spark、spark-streaming

在火花流中，数据按批间隔进行处理。first batch of data10s~15s is third batch of data是否有一个变量来识别火花流中的每一批数据如果有这样的变量：我可以获得batchID的值来识别哪一批数据，也可以通过batchID (如：window(……).filter(_.batchId == 1) )过滤数据或者有什么方法来区分每一批数据？

浏览 6提问于2016-02-02得票数 3

回答已采纳

1回答

将大清单批为较小的批

php、batch-processing

我有一个清单，就像-[0] => (string)"A.1.failure",[2] => (string)"A.3.failure",[4] => (string)"B.1.failure",.)[

浏览 4提问于2013-12-16得票数 0

回答已采纳

1回答

在读取google数据流中的文件时，是否跳过前面的行？

google-bigquery、google-cloud-storage、google-cloud-dataflow

当使用google数据流读取文件时，我想跳过前面的行。这个特性在最近的版本中可用吗？这些文件保存在谷歌的存储中。我将把这些文件写入大查询。我希望google数据流忽略第一行，只将其余行写到大查询中。

浏览 2提问于2016-07-27得票数 1

回答已采纳

2回答

我应该关心datastoreRpcErrors吗？

google-cloud-platform、google-cloud-datastore、google-cloud-dataflow

当我运行写入google云数据存储的数据流作业时，有时我会看到指标显示我有一两个datastoreRpcErrors。由于这些数据存储通常包含一批密钥，所以我想知道在RpcError的情况下，是否会自动进行重试。如果没有，怎样才是处理这些案件的好办法？

浏览 0提问于2018-05-21得票数 3

回答已采纳

1回答

每个队列/脱队列之后的Azure tx.CommitAsync？

performance、azure、collections、azure-service-fabric

在我的SF应用程序中，有一些带有连续数据流的ReliableQueries。假设每秒有50个项被另一个SF服务排队和退出队列。我是应该在每个队列/排队列之后调用tx.CommitAsync，还是可以在10个条目批后提交？

浏览 1提问于2016-03-29得票数 0

回答已采纳

2回答

使用雪花JDBC驱动程序自定义到雪花的速度非常慢

spring-cloud-dataflow、snowflake-pipe、snowflake-cloud-data-platform

我使用Spring数据流创建一个自定义流，将数据加载到雪花中。我编写了一个自定义接收器，使用雪花的JDBC驱动程序将数据加载到雪花中。我使用的方法类似于使用以下步骤的任何数据库更新：这时，我注意到雪花中的批处理更新得非常慢--即一次更新一两条记录，在雪花表(使用XS仓库)中更新一批8K行花费了超过45分钟的时间。我的问题是:是否有更好的/另一种/推荐

浏览 7提问于2020-10-23得票数 0

1回答

如何在春云数据流中运行多个作业

spring-cloud-dataflow

我在一个罐子里有5批弹簧。我有一个春季数据流应用程序和一个任务。基本上，如何在春季数据流中管理多个作业(包含在单个jar中)？

浏览 4提问于2020-09-15得票数 0

1回答

从本地计算机读取文件并使用google数据流写入BigQuery或google存储。

google-bigquery、google-cloud-storage、google-cloud-dataflow

是否有方法从本地计算机读取csv文件并使用google数据流将其写入大查询或存储？如果它存在，应该使用哪个跑步者？所有google数据流示例要么从云中读取，要么写入云存储或大查询。

浏览 3提问于2016-08-04得票数 1

回答已采纳

1回答

DataFusion (Apache Arrow)：如何懒惰地读取批量结果？

rust、apache-arrow

我有一个数据流查询。我希望在第一批处理就绪后立即运行一些代码，而不是等待所有批处理完成。DataFusion是否提供了一种只检索第一批而不必等待拼图文件完全处理的方法？我目前在启动时有一个5+min加载时间，这是不实际的。直接使用Arrow & Parquet将允许我立即访问第一批(通过api/功能交易)。编辑:可以在DataFusion git repository中找到最小的示例

浏览 42提问于2020-10-13得票数 1

1回答

Pytorch线性回归损失增加

machine-learning、pytorch、linear-regression

我试图实现一个简单的演示，得到一个多项式回归，但线性模型的损失没有减少。如果我每次训练模型一个样本(批处理大小= 1)，它可以很好地工作。但是，当我一次给模型提供很多样本时，损失会增加，并得到inf。import math x = np.linspace(-100, 100, size) base_y = 20 *

浏览 0提问于2021-03-24得票数 0

点击加载更多