我正在使用Apache Beam Python SDK，并且我正在尝试使用apache_beam.io.parquetio从拼图文件中读取数据，但我还想将文件名(或路径)添加到数据中，因为它也包含数据。我查看了建议的模式，并阅读到Parquetio类似于fileio，但它似乎没有实现允许遍历文件并将其添加到派对中的功能。谢谢!
浏览 18提问于2021-02-28得票数 0
回答已采纳
我有一个数据流使用拼图输入格式，我想得到每个项目的文件名。这样我就可以更新记录的文件了。我该怎么做呢？路径= streamExecutionEnvironment.readFile(parquetInputFormat，eventStream，FileProcessingMode.PROCESS_CONTINUOUSLY
浏览 45提问于2021-08-11得票数 1
回答已采纳
在ADLS Gen2中，TextFiles文件夹有3个CSV文件。每个文件中的列名都不同。我们需要将所有3个CSV文件转换为3个地块文件，并将其放在ParquetFiles文件夹中 我尝试使用复制活动，但失败了，因为列名中有空格，而parquet文件不允许这样做 为了删除空格，我使用了数据流这适用于单个文件。当我尝试对所有3个文件执行此操作时，它尝试合并3个文件，
浏览 40提问于2020-08-29得票数 0
回答已采纳
当使用控制流时，可以使用GetMetadata活动来检索blob存储帐户中的文件列表，然后将该列表传递给每个活动( Sequential标志为false )，以便根据for循环中定义的活动并发(并行)处理所有文件但是，当阅读以下来自微软()的文章中有关数据流的内容时，它们指出如下：通
浏览 2提问于2020-05-19得票数 1
回答已采纳
我正在读取多个路径，并使用以下命令加载这些路径中的拼图文件： val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678") 下面是读取命令： val r
浏览 19提问于2021-03-19得票数 0
5回答
我正在尝试将拼图文件作为数据帧读取，它将定期更新(路径为/folder_name。每当有新数据到来时，旧的地块文件路径(/folder_name)将被重命名为临时路径，然后我们合并新数据和旧数据并将其存储在旧路径(/folder_name)中。发生的情况是，假设我们在更新之前有一个拼图文件作为hdfs://folder_name/part-
浏览 1提问于2019-11-08得票数 4
我打算使用Azure DataFactory将ADLS文件夹中的文件列表导出到CSV文件中。 "executionDuration": 0我想将这个输出导出到CSV文件中
浏览 16提问于2022-01-12得票数 1
我是德鲁伊的新手，想知道如何将S3上的拼图文件导入到德鲁伊中？我们获得CSV格式的数据，并在数据湖中将其标准化为Parquet格式。然后需要将其加载到Druid中。
浏览 10提问于2020-04-26得票数 0
我正在寻找一个具有以下特性的下载管理器：在Windows上运行支持从需要使用用户名和密码登录的网站下载。不太重要：
将注释添加到文件的属性表(汇总选项卡)中，说明它来自哪个URL，以防您忘记！(它们存储在备用数据流<
浏览 0提问于2015-06-21得票数 2
是否有一种使用Apache的Python在DataFlow上读取snappy或lzo压缩文件的方法？因为我找不到更简单的方法，所以这是我目前的方法(这看起来完全是过分的和低效的)：
清理临时未压缩数据
浏览 0提问于2019-07-29得票数 0
回答已采纳
到目前为止，我的SSIS包可以很好地从一个文件夹位置的' .DBF‘文件中插入记录(我使用数据流任务到控制流和OLE DB源/目标来读取.DBF文件并将其插入)。E:\DBF Files\Site4\Data\records.DBF记录</em
浏览 2提问于2015-12-26得票数 0
1回答
我正在尝试将一组(10)相同的列Excel文件合并到一个主文件中(或者附加是一个更好的术语)。这个过程不仅很慢(大约每秒粘贴1条记录)，而且在大约50k条记录之后就会死亡。它看起来像: Foreach循环容器-->数据流任务最后，我希望看到一个附加了所有文件的主文件。
浏览 1提问于2019-04-12得票数 1
在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的数据，并将其转换为BQ，2)根据作业失败或成功与否将文件移动到失败/成功桶每个文件都有一个文件ID，它是bigquery表中的一个列。有时，一个文件会被编辑一两次(它不是一个经常被编辑的文件)，我希望能够首先删除该文件的现有记录。我查看了其他气流操作符，但在运行<
浏览 0提问于2019-01-09得票数 3
回答已采纳
在下面的答案
我很难找到正确的流程来导入文件夹中的每个文件，解压文件名，在文件名上运行一个脚本，只使用文件名的一部分，然后插入到一个主表中。我有我需要的所有片段:我能够用Foreach循环遍历所有文件，并将文件名作为变量。Foreach容器内有一个数据流任务，用于将记录从平面文件导入SQL表。从循环中移出，下一步是运行一个脚本，以获得我需要的文件名的一部分。最后一
浏览 3提问于2017-11-08得票数 0
回答已采纳
我正在尝试读取一个GCS blob，其中文件名来自apache束中的以前的p集合。代码示例如下所示。** #"gs://beam-basics-gcs/example.parquet"ib.show(pubsub)
我想使用一个流数据流作业，在这里，我希望通过发布子主题获得不同的文件名
浏览 0提问于2021-05-09得票数 0
1回答
我想从命令行参数中读取一个文件路径，使用a解析。是否有任何最佳方法来检查路径是相对的(文件位于当前目录中)还是给定了完整的路径？(如果路径不存在，则检查输入并将当前目录添加到文件名。)
浏览 1提问于2016-05-20得票数 2
回答已采纳
2回答
我希望将python文件名的字典作为值，并将每个文件中定义的函数作为键。我很容易就能列出文件名。例如：我还定义了一个变量为self.beamline_loaders = {}，我希望以这样的方式将其添加到上面的循环中将是每个文件中函数的名称。所有这些都在同一个模块中。我使用这个字典根
浏览 13提问于2022-07-26得票数 1
回答已采纳
1回答
我是AWS的新手，我想在AWS中做一些数据流水线。我有一堆CSV文件存储在S3中我想合并所有的CSV文件并将文件名添加到每一行，在合并CSV之前，需要删除每个文件的第一行；在处理后，将文件名列拆分为_ --这一切都在DB中。
浏览 0提问于2020-01-07得票数 0
2回答
对于服务器上的每个图像，我取其URL (path)，记录它，然后将它添加到一个数组中。我的问题是，服务器上的一个图像本身在文件名中有引号。所以，当我像这样记录URL时：日志输出内容如下：
新文件路径读取：\"Image\".jpeg接下来，我使用文件的路径
浏览 7提问于2013-07-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
