腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
避免
数据
记录
中
的
重复
分区
apache-spark
、
pyspark
当我写拼图文件时,我传递一个列值作为
分区
,但是当dataframe为空时,它不会创建
分区
(这是预期
的
),也不会做任何事情。为了克服这一点如果我通过了 df.partitionOf("department=One").write(df) 当
数据
帧不为空时,它会创建两级
分区
location/department=One/department=One 如果
分区
已经存在,有没有办法跳过一个
分区
以
避免
重复</em
浏览 10
提问于2019-04-02
得票数 0
2
回答
如何
避免
向U-SQL表
中
添加
重复
项
azure-data-lake
、
u-sql
除了添加/截断
分区
之外,是否有其他方法可以
避免
在U-SQL表
中
添加
重复
记录
。让我们假设这两个
记录
只有唯一标识符是不同
的
。
浏览 1
提问于2016-06-10
得票数 2
2
回答
卡夫卡制作者如何选择键和偏移量
java
、
apache-kafka
、
apache-kafka-connect
我想出了两个问题 对于一个制片人来说,选择键/偏移
的
最好方法是什么
浏览 1
提问于2018-07-09
得票数 3
回答已采纳
1
回答
如何动态扩展Kafka流处理?
java
、
python
、
apache-kafka
、
kafka-consumer-api
我有一个固定数量
的
主题
分区
。生产者在一天
中
的
不同时间以不同
的
速率产生
数据
。例如,我有一个主题
的
10个
分区
。我
的
问题是,当我有20个消费者时,每个消费者都会收到
重复
的
记录
,这是我想要
避免
的
。我只想处理唯一<em
浏览 0
提问于2019-05-17
得票数 1
1
回答
如何在保留最新版本
的
同时从火花
数据
框架
中
删除
重复
项?
pyspark
、
apache-spark-sql
我想删除基于
数据
帧
的
两列
的
重复
,保留最新
的
(我有时间戳列)。最好
的
办法是什么?请注意,副本可能分布在
分区
之间。我是否可以删除保留上一张
记录
的
副本而不进行洗牌?我在处理1 TB
的
数据
。我想通过这两列对
数据
框架进行
分区
,这样所有
重复
的
记录
都将被“一致散列”到同一个
分区
中
,因此,下
浏览 0
提问于2019-04-12
得票数 7
回答已采纳
1
回答
为什么每一行都必须是唯一
的
?
apache-spark
、
jdbc
、
apache-spark-sql
我正在阅读spark.sql.execution.datasources.jdbc.JDBCRelation
的
源代码。为什么每一行都必须是唯一
的
?有什么例子吗?动机是什么?如果我们有
重复
的
怎么办?
浏览 28
提问于2018-06-26
得票数 -2
回答已采纳
2
回答
oracle如何管理散列
分区
oracle
、
hash
、
partitioning
我理解范围划分
的
概念。如果我有一个日期列,并根据月份对该列进行
分区
,那么如果我
的
查询有一个where子句只过滤了一个月,那么我可以命中特定
的
分区
并获取
数据
,而不会命中整个表。在Oracle文档
中
,我读到如果像'month‘这样
的
逻辑
分区
不可用(例如,您在名为customer id
的
列上
分区
),那么使用散列
分区
。那么这将如何工作呢?Oracle将随机划分
数据</em
浏览 1
提问于2013-08-26
得票数 2
回答已采纳
1
回答
ClickHouse:如何从具有不同
分区
键
的
表中移动
数据
?
clickhouse
我计划在ClickHouse
中
重新设计表,以
避免
在使用ReplicatedReplacingMergeTree时出现一些性能和
重复
/版本控制问题。在这里,可以运行优化FINAL以删除
重复
项,但不能连续运行。然后,我们设置了一个动作,将最新
的
分
浏览 5
提问于2020-06-01
得票数 1
回答已采纳
1
回答
多维
数据
集进程增量1
分区
与多
分区
sql-server
、
ssas
、
partitioning
、
cube
、
data-partitioning
我有一个很大
的
立方体,处理时间变得太长了。我想更改多维
数据
集
分区
和处理选项。我知道过程增量会将新
记录
拖到多维
数据
集中。我
的
问题是,有多个
分区
和执行过程增量
的
优点,而不是只有一个
分区
和执行过程增量?我不期望每次处理都会有大量
的
新
记录
。
浏览 1
提问于2013-08-18
得票数 0
回答已采纳
1
回答
如何查看Kafka唯一性消息?
apache-kafka
有带
分区
的
主题Users。如何
避免
重复
,例如不允许插入相同
的
用户名?因此使用streams
浏览 51
提问于2020-05-23
得票数 0
回答已采纳
1
回答
Apache Beam python Bigquery将流式插入更改为批量插入?
python
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我正在运行一个apache beam
数据
流作业,它从存储桶
中
读取
数据
,执行一些转换并写入bigquery。但是
记录
被插入到流缓冲器
中
。write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND) 实际上,我需要在运行上面之前删除
分区
,以
避免
摄取时间
分区
表
的
重复
记录
。比方说,如果我对同一文件多次运行此作业,而不截断
浏览 17
提问于2019-01-12
得票数 3
1
回答
如何将新
数据
追加到已存在
的
配置单元表
中
hadoop
、
hive
如何将
记录
追加到已有的
分区
Hive表
中
?例如,我有一个名为"ip_country“
的
现有外部表,而dataset是testdata1。如果
数据
集增长,比如我第二天
的
数据
集是testdata1和testdata2,那么如何将新
数据
,即"testdata2“附加到"ip_country”配置单元表
中
。
浏览 0
提问于2015-05-13
得票数 5
回答已采纳
1
回答
ETL Glue delta或增量逻辑
amazon-web-services
、
pyspark
、
apache-spark-sql
、
etl
、
aws-glue
在一个每天需要增量负载
的
项目上,我们使用Glue作为ETL
的
用途。我们正在使用Glue获得
重复
或加倍
的
数据
。然而,,我得到了在策划区
的
双倍
记录
。
数据
以运行日期为基础进行
分区
。类似2020/01/10/data.csv和2020/01/11/data.csv 我应该做哪些更改以
避免
只在消费区域中看到增量
记录
(或增量
记录
)?
浏览 3
提问于2021-08-30
得票数 0
回答已采纳
1
回答
星星之火:加入后
的
倾斜
分区
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我有两个
数据
文件,df1有2200万条
记录
,df2有200万条
记录
。我作为密钥在email_address上做了正确
的
连接。test_join = df2.join(df1, "email_address", how = 'right').cache() 在这两个
数据
帧
中
,很少有
重复
的
(如果有的话)电子邮件。100倍,是平均
分区
大小
的
100倍。我知道我可以使用repartion
浏览 0
提问于2016-12-12
得票数 5
回答已采纳
1
回答
跨多个
分区
的
配置单元表
重复
数据
消除
hive
、
duplicates
、
hiveql
、
hive-partitions
我正在尝试对一个可能在多个
分区
中有
重复
项
的
表进行
重复
数据
删除。4 5 2019-12-23 1 2 3a USA 4 5 2019-12-24 可以看出,除了作为
分区
列
的
我想要删除这样一个表
的
重复
项,其中旧
分区
中
的
相似
记录
将被删除,而
记录
将保留在最新
浏览 21
提问于2019-12-23
得票数 1
回答已采纳
2
回答
(火花倾斜连接)如何加入两个大
的
星火RDD与高度
重复
的
键,没有内存问题?
java
、
apache-spark
、
join
、
rdd
、
scalability
在
中
,我试图通过
避免
使用join来
避免
使用Sparkjoin来
避免
内存问题。 在这个新问题中,我使用join,但试图用修复内存问题。在Spark
中
,我注意到在包含join
的
阶段,在Input Size / Records列
中
,所有
分区
都有许多
记录
,从4K到700 K。除了产生OOM
的
两个
分区
之外,其他所有
分区
都是:一个有9M
记录
,另一个有6M
记录
浏览 1
提问于2018-05-29
得票数 3
回答已采纳
1
回答
如何保证从scylla中选择时timeuuid单调递增
scylla
、
timeuuid
TEXT, kind TEXT,);SELECT kind FROM event WHEREtimeuuid(例如,由于某些网络问题),我可能会在选择
中<
浏览 7
提问于2020-04-15
得票数 4
1
回答
如何激发SQL access
数据
库?
sql
、
apache-spark
假设您使用spark访问一个SQL
数据
库。使用RDD火花将
数据
划分为多个不同
的
部分,这些部分共同构成
数据
集。 RDD
的
每个节点访问
数据
库并构建它们
的
部分。它
的
优点是节点不会被迫分配大量内存,但是
数据
库将不得不承受N个可能很大
的
连接。单个节点访问
数据
,并根据需要将
浏览 2
提问于2020-03-06
得票数 1
回答已采纳
1
回答
Msql Partitioning - Key vs Hash vs List vs Range
mysql
、
scaling
、
partitioning
我浏览了mysql
的
一些文档,但无法理解以下
分区
方式
的
区别:键、散列、列表、Range.Can,有人用纯英语解释一下吗? 我们还有下表:我们如何按forum_id进行
分区
?
浏览 0
提问于2011-06-28
得票数 1
2
回答
重复
DNS
记录
副作用
domain-name-system
、
windows-server-2012-r2
、
dns-zone
我试图理解Windows
中
重复
的
DNS
记录
,过去我们在Linux环境下遇到了一个导致整个区域崩溃
的
问题(由于过多
的
不正确
的
名称解析,无法访问大部
分区
域)。在Windows
中
,我知道有DNS清除器来
避免
这种情况,但我想知道在Windows环境中有太多
重复
的
DNS
记录
会产生什么副作用,其他原因是调用具有相同条目的服务器有问题。我们可能面临
的
另一个主要
浏览 0
提问于2019-03-31
得票数 0
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
即时通信 IM
实时音视频
对象存储
活动推荐
运营活动
广告
关闭
领券