1回答
我正在尝试理解如何在数据流上运行程序。我读到像pandas这样的库是内置在数据流中的。我使用的数据集是常用的amazon数据集，带有评论和评级。我有以下程序： from google.cloud import storageimport pandas as pd
from apache_beam.options.pipeline_options(文本数据)中提取一些样本数据，对其运行一些转换，然后以CSV文件的形式
浏览 18提问于2021-07-24得票数 0
) }
像这样在我的测试中使用在processElement1和processElement2中，在MyProcessFunction中，我在接收元素时打印它们。
浏览 2提问于2020-04-05得票数 0
回答已采纳
有没有什么方法可以使用pandas，numpy在google云数据流中进行转换？
在上面的链接中说它支持numpy、scipy和pandas，但没有可用的示例
浏览 2提问于2017-06-12得票数 1
1回答
我有一个在python3.7中用apache创建的数据流，在这里我处理了一个文件，然后我不得不删除它。该文件来自google桶，问题是当我使用DataflowRunner运行程序时，我的工作无法工作，因为Google python3.7环境中没有安装Google云存储API。你们知道吗，不使用这个API，我怎么才能删除数据流中的文件呢？我见过apache_beam模块，如，但我不知道如何使用它，也没有找到关于如何使用该模块的教程或示例。
浏览 4提问于2020-07-15得票数 1
回答已采纳
我一直在尝试将shell指向我本地运行的服务器实例(数据流配置服务器http://localhost:9393)but我总是得到下面列出的错误。我能够导航到我的服务器并运行应用程序，所以我知道它在端口9393上工作，不确定为什么shell看不到它。我正在为shell运行1.0.0.M3版本。 我已经尝试了以下几种方法。服务器-未知：>数据流配置服务器http://localhost:9393 无法联系位于‘http:
浏览 21提问于2019-10-09得票数 0
回答已采纳
2回答
我有一个Azure数据工厂，它有一个管道，用于从一个前提数据库中获取数据并复制到云中的CosmosDB。我在结束时使用数据流步骤从接收器中删除源中不存在的文档。我设置了3个集成运行时：
Data流集成运行时(我将其设置为数据流步骤使用的TTL setting)
浏览 2提问于2021-04-22得票数 0
回答已采纳
我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：
临时位置和临时位置存储桶都被设置为区域x。我们正在创建数据流</
浏览 4提问于2020-03-05得票数 0
1回答
我运行了很多，但执行时间很长。一些包裹运行在数千或毫升(2-15)的记录上。由于晚上的时间还不够，他们重叠，有时运行3-4，这使它更加困难。我做了些测试。我发现在SSIS里，vievs真的很糟糕.当我运行一个SQL查询时，它们运行得更快，然后选择到表中的视图中，然后执行OleDB源/目标工作。在执行过程中，源行是在5-10分钟内选择的，记录超过5milin，但是将数据插入目标表需要花费10倍的时间。据我所知我得到了这些信息。
浏览 4提问于2021-05-28得票数 0
回答已采纳
2回答
我正在使用“Row count”组件对数据流中的行数进行计数。我已经取消了名为In_rec的新变量的代码。但它没有填充正确的行数。请让我知道该变量的输入列属性。
浏览 0提问于2009-06-01得票数 0
我希望使用python脚本来运行所有列标题，并将所有空白替换为'_‘。我理解我使用了'Execute Process Task‘，以及如何将它实现到SSIS中，但是如何引用Python SSIS包中包含的数据集呢？
浏览 6提问于2020-10-28得票数 1
回答已采纳
我正在使用google-api- PHP -client-services在google云中训练我的PHP网站的数据。如何使用这个库在中进行预处理？在PHP中有没有替代google-api-php-client与ml_engine交互的方法？
浏览 2提问于2017-07-21得票数 0
我需要根据SSIS中参数的值向CSV添加额外的列。我当前的数据流是这样的：简而言之，我计算出需要运行它的哪些契约，然后将其传递给一个参数。然后循环遍历契约列表，并从针对契约参数运行的SQL查询中输出CSV。我的SQL查询中的每个契约都需要相同的列，只需要将值过滤到特定于契约的数据。我列表中的一个特定契约需要在每个CSV的开始中添加几个额外的列，作为其ETL过程的一部分。这些列将在CSV的每一行中</
浏览 0提问于2018-07-19得票数 0
回答已采纳
1回答
我正在尝试将多个表从我的临时数据库加载到数据仓库中的多个表。我的临时数据库只是一个将所有源数据库中的所有表复制到其中的数据库。我发现每个数据流任务只允许将一个源表连接到一个目标表。我是否必须使用与我的源数据库中的表数一样多的数据流任务？有没有更简单、更有效的方法来做到这一点呢？根据我的理解，我需要一个空数据库，其中包含在SQL Server中创建的空Dim表和事实表，它将充当目标数据仓库，并从临时数据库接收数据。因此，我已经创建了这个空的数据仓库。请帮帮忙。
浏览 1提问于2013-04-15得票数 0
回答已采纳
2回答
我有一个使用directrunner在本地成功运行的Beam应用程序，它提供了我在本地控制台上代码中的所有日志信息。但是，当我尝试在google数据流环境中运行它时，我只在本地控制台上看到这些日志信息，但是它们没有出现在Google控制台上，用于数据流作业，也没有出现在他们的StackDriver日志记录页面中。下面是我在本地控制台运行数据流<e
浏览 1提问于2017-09-16得票数 7
回答已采纳
1回答
我有一个管道来执行Azure Data中的几个数据流，几周前它运行正常，持续了大约25分钟才完成，我不得不在一个过滤器中做一些调整(具体来说，这是最后一个也是唯一一个永远保持排队的数据流，这个数据流插入到SQL DB中)。在调整之后，每次管道运行时都不作任何解释，它只是在排队状态上保持静态，并且永远不会结束：我试图删除调整所在的筛选器，重新创建管道，正如您所看到的那样，管道中的最后<em
浏览 2提问于2021-11-25得票数 0
在连接到同一Oracle数据库的同时运行的序列容器中有四个数据流任务。也就是说，没有连接四个数据流任务的绿色小线，以强制它们按顺序执行。在执行这四个数据流任务时，与Oracle的obdc连接很少会失败。我可以处理这种情况，并优雅地失败。我希望能够在包正在运行并从Oracle数据库中提取数据时强制终止odbc连接。
我不能像在Sql Serv
浏览 1提问于2012-11-07得票数 0
2回答
在我的数据流中，我已经成功地创建了一个资源路径为4y5-998d的OData源，并且能够预览数据。一切看起来都很好，但是当我在Visual 中运行包时，会出现以下错误：
信息: 0x4004300A在数据流任务，SSIS.Pipeline:验证阶段已经开始。错误: 0xC020801F在数据流任务中，OData Source
浏览 11提问于2018-01-19得票数 5
2回答
我的目标是创建一种机制，当一个新文件上传到云存储中时，它将触发一个云函数。最终，这个云函数将触发一个云数据流作业。
我有一个限制，即云数据流作业应该用Go编写，云函数应该用Python编写。在用Go编写的Cloud中，问题是Apache中没有定义template-location变量。这就是我不能创建数据流模板的原因。而且，由于没有数据流模板，我从云函数调用Cloud作业的唯一方法是编写一个Python作业，它调用运行数据流作业的ba
浏览 0提问于2019-01-13得票数 4
回答已采纳
2回答
从多个R文件中采购
、、、、
目前我在我的本地机器上使用R，在那里我可以有条件地获取多个R脚本(因为它们被放在我的本地驱动器中)。
然而，当我需要在Google数据流中的RENJIN上使用相同的脚本来实现并行性时，我无法源文件。我需要读取主R脚本文件，并且需要在运行时传递到数据流中，但是主R文件必须引用其他R脚本文件的源标记。当从java读取主R文件内容并将其传递给google数据流时，Jave无法解释R文件中引用其他R脚本文件
浏览 0提问于2017-05-24得票数 0
我正面临着一个即使在停留30分钟后也无法加载数据流的问题。如何完成实验，任务是：-通过在BigQuery上运行查询来制作数据流图表。
浏览 16提问于2021-11-09得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
