Spark展平数据集映射列

文章/答案/技术大牛

发布

1回答

java、apache-spark、rdd

基本上在一个级别上展平所有的列。 cola, mapped1, mapped2, mapped3, colc A1, M1,M2,M3, C1 在Java中有没有一种优雅的方式来做这件事？

浏览 6提问于2020-03-20得票数 0

回答已采纳

2回答

将三维点云映射到曲面上，然后展平

map、3d、projection、flatten、topography

将点云映射到3D "fabric“上，然后展平。所以我有一个科学数据集，其中包含一个3D的点云，这个点云由曲面上的点组成。然而，为了进行定量分析，我需要将这些点云映射到一个表面上，然后我可以将其展平。我想过使用地图工具，有点像3d世界被展平到地图上的情况，但我甚至不确定如何开始，因为我没有制图经验，也许我试图用错误的工具解决一个简单的问题。简单地描述一下数据集:想象一下

浏览 12提问于2012-07-03得票数 1

2回答

使用Pyspark组合Json和normal列

json、apache-spark、pyspark、apache-spark-sql

我有一个平面文件，它混合了普通列和Json列 2020-08-05 00:00:04,489|{"Colour":"Blue", "Reason":"Sky","number":"1"} 2020-10-05 00:00:04,489|{"Colour":"Yellow", "Reason":"Flower","number":"2

浏览 10提问于2021-04-14得票数 0

1回答

展平是否会影响BigQuery中的定价

google-bigquery

BigQuery支持重复的数组列。可以使用函数来展开(“展平”)这些对象。由于BigQuery的价格与数据集的大小(更精确地说是used列)绑定在一起，那么扁平化是否会使我的查询更昂贵，因为它会影响数据集的大小？

浏览 0提问于2012-11-19得票数 1

回答已采纳

1回答

spark java中的XML验证

java、xml、apache-spark

我们希望使用Spark-Java来验证它和扁平化。展平的数据将被插入到配置单元表中。此外，验证应该抛出XML中的错误记录(这样我们就可以将相同的记录写回Kafka主题，以致源系统知道它)。客户端不建议使用基于com.databricks.spark.xml的展平。请帮帮忙。如果不是代码，算法也会有所帮助。

浏览 0提问于2016-09-28得票数 0

1回答

将数据映射到.NET中的非表实体

.net、linq、entity-framework、orm、linq-to-entities

我试图将存储过程中的数据映射到此结构中，以便最终得到一个发货集合，其中包含一个订单头集合，这些集合中包含一个行集合，但我似乎无法做到这一点。我似乎不能用LINQ做到这一点，所以我在考虑实体框架。.>(...)方法将数据映射到对象，然后转换方法将负责应用关联，但是当我尝试这样做时，我得到一个错误报告，指出实体对象属性没有映射。查看此映射，似乎又回到了必须引用实际数据库表的对象(这是我反复遇到的问题)。如果可能，我如何才能使用LINQ、EF或其他方法将存储过程中的<

浏览 2提问于2011-06-02得票数 0

回答已采纳

2回答

AnalysisException: CSV数据源不支持array<struct<

apache-spark、pyspark、parquet

我在工作，我需要立即帮助，请我有一个拼花文件，我需要将其转换为csv。你能帮帮我吗？错误： AnalysisException: CSV data source does not support array<struct<company:string,dateRange:string,description:string,location:string,title:string>> data type. 我从来没有使用过这种格式，所以我甚至不能打印模式。抱歉的 printshema： root

浏览 684提问于2021-09-01得票数 0

回答已采纳

1回答

使用PIG进行XML解析

apache-pig

我有一个有3列的表格。第一个云是id，第二列是名称，第三列是具有3个元素的XML文档。我必须使用PIG解析XML，结果表应该包含5列，即id、name和来自XML的已解析元素。

浏览 2提问于2016-07-18得票数 0

4回答

JS:在映射数组时展平数组吗？

javascript

如果我想要下面数据的颜色，我知道我可以这样做：let colors = foo.foo.data.map(x => x.colors)，它将给我一个数组的数组：有没有一种方法可以在映射时将其展平，而不是在映射后进行单独的迭代来展平？

浏览 1提问于2020-12-06得票数 0

2回答

将海量JSON文件读入Spark Dataframe

json、scala、apache-spark、dataframe

我有一个很大的嵌套NDJ (新行分隔的JSON)文件，我需要将其读取到单个spark dataframe中并保存到parquet中。所返回的dataframe上我还将其切换为val df = spark.read.json我修改了jvm内存选项和spark executor/driver选项，但都无济于事有没有一种方法可以流式传输文件，扁平化模式，并增量地添加到数据帧中？

浏览 2提问于2016-12-10得票数 5

2回答

需要有关*.analysis.windows.net/public/reports/querydata的文档

json、rest、api、powerbi

我正在对一个应用程序进行逆向工程，该应用程序通过JSON结构化查询的HTTP POST将查询发送到SOMESERVERNAME.analysis.windows.net/public/reports/querydata。我在任何地方都找不到任何关于这方面的文档。我不知道这是不是什么秘密API。谢谢! {

浏览 0提问于2019-06-26得票数 2

1回答

对返回另一个RDD的"String RDD“中的字符串进行标记

scala、apache-spark、scala-collections

我有一个单独字符串值的Spark RDD，其中每个字符串都是由|符号分隔的单词组成的。此RDD是由SparkSQL查询生成的，而不是由.textFile(...)加载操作生成的。我不能(除非我没有理解一些基本的东西)使用.flatMap(_.split("|"))操作，因为这会在应用.split()之前将每个字符串展平为单独的字符。然而，我确实需要做一些像.flatMap()这样的事情，因为我需要一个1到多的映射。由于我的数据集可能非常大，我需要将此操作并行化，因此

浏览 0提问于2015-05-14得票数 1

1回答

对嵌套增量结构使用ADF数据流派生列转换

azure-data-factory-2、azure-databricks

我尝试在ADF (Gen 2)数据流中使用派生列转换，其中我已经摄取了一个具有嵌套结构的Delta表。我正在努力解决展开这些结构所需的语法问题，尽管我能够预览数据，但没有显示任何列信息。Name":{ "FullName":"Donna Brittain", }

浏览 1提问于2020-10-28得票数 0

2回答

java -如何展平集合集合，我应该首先这么做吗？

java、collections

假设我有一个图，用两个映射(输入和输出)实现，分别映射(source，set(edge))和(target，set(edge))。到目前为止，我还设置了allEdges，我决定去掉它。返回边集现在更加困难，因为我必须展平其中一个贴图的值。最好(最快)的方法是什么？或者我应该离开allEdges设置(我不太关心内存，只是认为拥有它有点多余)。谢谢

浏览 1提问于2010-02-08得票数 4

1回答

如何仅使用Dataset API连接两个数据集

scala、apache-spark、apache-spark-dataset

浏览 31提问于2018-06-20得票数 0

2回答

在数据工厂中修改JSON数据结构

json、azure-data-factory、azure-cosmosdb-sqlapi

我目前有一个PowerShell脚本，它可以将这个文件修改为合适的格式，以便在Azure Data Factory中的数据流或复制活动中使用。然而，我想知道是否有一种方法可以在Azure数据工厂中完成所有这些修改，而不使用Powershell脚本。在没有修改的情况下，我得到了一个错误，因为"@“符号。

浏览 1提问于2021-06-01得票数 0

1回答

在Apache Spark* Scala中将嵌套的json with array展平为单行数据帧*

scala、apache-spark

我正在尝试将下面的json扁平化成一个单行的数据帧。我已经看过很多文章，展示了如何使用数组将复杂的/嵌套的json对象展平为多行。但是，我不想将json展平为多行。我只想要一个如输出所示的单行数据帧。数组索引将转换为列名。我如何在Apache Spark Scala中实现这一点？

浏览 39提问于2021-08-26得票数 1

1回答

扁平化pyspark嵌套结构- Pyspark

python、apache-spark、data-structures、pyspark

我想将嵌套列展平为单独的列，其中只包含几个特定值。此列具有以下结构。我下一步要做的是展平该列的剩余特定值。我可以在一个单元格上做到这一点，但是因为我处理的是嵌套结构，所以列是不可迭代的。

浏览 13提问于2021-05-17得票数 0

4回答

选择join + linq join中所有表的所有列

linq、linq-to-sql

如何使用linq从join表中选择所有列select CTRL_RUN_JOB.*, CTRL_DATA_STREAM.* from CTRL_RUN_JOB inner join CTRL_DATA_STREAM

浏览 3提问于2009-11-04得票数 32

回答已采纳

1回答

ADF Json文件列计数和在没有数据流的情况下展平文件中的所有列

azure、azure-adf

如何使用Azure数据工厂活动统计JSON文件中的所有列数？如何使用Azure数据工厂活动展平JSON文件中的完整对象(所有列)？

浏览 29提问于2021-08-13得票数 0

点击加载更多