我有一个包含列的DF：TXN_ID, SMO_ID, FLAG值是： 12,340,null12,353,null13,56,null
13,353,第一次更新:在FLAG为null或已为'Y‘的情况下，针对SMO_ID(字符串列，因此按词汇排序，即340将是此处的最小值)的最小值，将column设置为'Y’ 然后第2步:更新完整DF中的所有其他行，并针对在上述步骤中更新为'
浏览 50提问于2021-09-06得票数 1
1回答
这是另一个未解决的的后续，该任务非常简单，即根据前几列的信息更新大量列(大约10,000)。行数约为100米，数据大小在兆字节范围内，排除了collect方法。在几百列的情况下，使用UDF的逐列方法失败(1500列不能这样做)。此外，看来大部分时间都是由星火公司使用大约100%-200%的CPU (与其他使用数十个核心的操作不同)。然后，我试图解决使用逐行方法的问题，因为Spark在分区中保持行的完整性。最直接的解决
浏览 5提问于2022-07-25得票数 0
回答已采纳
4回答
在R中，如果数据帧是由未知数量的列和行构造的，那么如何执行逐行或逐列的布尔操作。random.boolean.dataframe <- as.data.frame(random.boolean.matrix)
假设随机数据帧原来是> random.boolean.dataf
浏览 1提问于2017-05-17得票数 1
我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。例如：加5 Add 30 32000
应用程序可以通过剥离Action列并附加到表中，将新数据</e
浏览 1提问于2019-03-29得票数 2
我有两个具有相同列的数据帧。第二列是第一列索引值的子集，但某些列的字段为空，其他列的更新信息为空。125 Nan Arbor Nan
Rob Nan 235 45 Nan 776-333-3222 我想用dfb中的新信息更新如果没有来自dfb的更新(字段是Nan)，我希望在dfa中保留原始值。 我能想到的唯一方法就是逐行
浏览 49提问于2017-06-01得票数 1
回答已采纳
我正在使用Spark dataframe，我想使用Scala中的spark-sql更新hive-table中的一个列column_to_be_updated。到目前为止，我的代码确实可以处理较小的数据帧： var data_frame = spark.sql("Select ....otherwise($"column_to_be_updated")) 如果other_column-of_frame中的条目在TableXY的id</
浏览 17提问于2019-05-08得票数 2
回答已采纳
2回答
这样，我需要在两个数据帧之间执行每日比较，以确定记录是新的、更新的和删除的。以下是两个数据帧的示例： today = spark.createDataFrame([ [2, "Banana", 4000, "A"],"cost", "classification"]) 我想要比较两个数据
浏览 24提问于2021-08-27得票数 0
我有一个Spark，我希望根据一个特定列的匹配值从它们中选择几个行/记录。我想我可以使用过滤器操作或在映射转换中选择操作来实现这一点。但是，我想针对那些在应用过滤器时没有选择的行/记录更新一个status列。那么，如何知道和更新未被选中的行的列值？
浏览 0提问于2018-07-25得票数 1
1回答
给定一个包含以下列的Spark数据帧，我尝试根据event列的内容何时计算为True，为每个id构造一个增量/运行计数。spark.createDataFrame([ ('2018-01-02', 'A', False),|2018-01-02| B|
浏览 17提问于2021-06-15得票数 0
回答已采纳
3回答
我有两个具有相同结构的I的数据帧：这两者之间的唯一区别应该是列值中的值--它可能首先需要按ID排序，因此两者都有相同的行顺序来确保。我希望根据列值逐行比较这两个数据帧，并根据值较大的位置将该行保持在第一或第二行。我还想看看如何从两个数据帧中为值列的和添加额外的列</em
浏览 4提问于2015-12-11得票数 2
回答已采纳
我有两个Spark数据帧。我想根据第二个更新第一个。", "salePrice": "8312"][{ "min_price": "678" "sku"
浏览 3提问于2021-05-19得票数 0
5回答
.option("password", "root") .mode("overwrite")在执行上面的命令后，我的数据被损坏，它被插入到数据库表中数据帧中的数据您能告诉我您的观察结果和解决方案吗？
浏览 3提问于2020-05-10得票数 0
在Spark SQL中是否有“如果不存在则执行INSERT”的规定。
我有Spark SQL表"ABC“，其中有一些记录。然后，我有另一批记录要根据它们是否存在于该表中而插入/更新到该表中。
浏览 8提问于2017-08-16得票数 3
假设我有一个spark dataframe df，其中包含一些列(id，...)和带有SQL过滤器的字符串sqlFilter，例如"id is not null"。我想根据sqlFilter过滤数据帧df，即现在，我想要一个由过滤器从df中删除的10个I的列表。一旦过滤后的操作完成，spark必须从分区中收集所有列表，直到它有10个ids。
我想按照描述的那样
浏览 69提问于2018-07-05得票数 3
回答已采纳
1回答
我正在开发一个小型的winform实用程序来读取一个excel和更新另一个excel。
有没有办法丢弃隐藏的列<
浏览 0提问于2018-03-29得票数 1
回答已采纳
我有一个动态的地形高度图，它几乎每帧都会被修改，我应该使用gltexsubimage2d和纹理作为高度图还是每帧更新顶点缓冲区，而不是创建vbo？哪种方法应该更快？我知道我正在失去通过vbo发送数据的硬件双线性滤波器，但根据谷歌gltexxubimage2d在移动设备上造成问题，它看起来不像我可以逐帧使用它，因为它的速度很慢。实际上问题应该是:在纹理中发送数据到gpu内存比使用顶点属性更快吗?它依赖于实现吗？有没有人在android的opengl中实现
浏览 1提问于2012-06-11得票数 0
回答已采纳
此文件的结构总是相同的: ID、名称、日期、1到4之间的值、无关的数据。该数据是通过“select all”按钮(工作表左上角，在selected 2013中单元格下方的小三角形)选择的，然后复制到另一个默认文件中，该文件重新处理数据，以便根据1-4值和日期在不同的工作表中显示和筛选数据我的问题：如何检测数据何时已粘贴/正在粘贴？我尝试过Worksheet.Change事件，但粘贴命令(CTRL+V)不会触发更改事件。此外，如何</e
浏览 14提问于2015-01-07得票数 9
回答已采纳
2回答
我正在开发一个SparkStreaming解决方案，在这个解决方案中，一个配置单元表被缓存为一个数据帧，然后流事件将与缓存的数据帧结合起来，以产生结果。然而，问题是Hive表将以特定的频率更新，因此缓存的Dataframe也应该相应地更新。有没有任何方法，比如说TTL或任何其他围绕缓存数据帧的机制，其中数据以特定的时间间隔自动刷新更新的Hive表记录。
浏览 0提问于2018-07-04得票数 0
我有一个spark数据帧，它是创建的，dynamically.There也是一个列的列表，需要从数据帧中选择。 我需要遍历所需的列的列表，并检查dataframe中是否存在这些列。我已经尝试使用forloop和if条件，如下所示： 我的数据帧包含以下列: a.col1、a.col2、a.col3、a.col4、b.col2 val cols_needed = "a.col1,a.col2)
浏览 26提问于2019-05-19得票数 0
回答已采纳
我正在做Spark 2.2中的实时数据流。根据我的问题陈述，我想在120秒的滑动窗口内查询数据。持续时间。我每隔1秒触发一次streamingquery。数据(更新/更新数据)。这背后的原因可能是什么？如何才能将窗口
浏览 3提问于2017-05-23得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
