腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如果
文件大小
大于
spark
中
的
驱动程序
大小
,会
发生
什么情况
?
、
有人能向我解释一下,
如果
我们
的
数据比
驱动程序
的
大小
大得多,会
发生
什么?在这种情况下,
Spark
究竟是如何工作
的
?
如果
它将数据缓存在磁盘内存
中
,那么它将如何成为“内存中计算”?任何帮助都将不胜感激。
浏览 46
提问于2021-11-16
得票数 0
回答已采纳
1
回答
为什么运行在amazon上
的
spark
应用程序
的
执行器输入要比其处理
的
实际
文件大小
更多?
、
、
、
、
我正在运行一个amazon集群,其中20个
spark
应用程序将集群配置作为一个主节点,2个工作节点作为c5.24xlarge实例。给每个应用程序3名执行者和1名
驱动程序
。但是,我可以看到给执行器
的
输入
大于
要处理
的
文件大小
,而在
spark
的
sql选项卡
中
,输入仅与
文件大小
相同。由于这个原因,
的
工作速度太慢了。
浏览 4
提问于2022-06-22
得票数 0
1
回答
为什么调试模式
文件大小
比发布模式大?
、
、
、
我真的很困惑,为什么在Visual
中
构建应用程序时,调试模式
的
文件大小
(.exe扩展名文件)要
大于
发布模式。
如果
我以调试模式而不是发布模式发布文件,会
发生
什么情况
?
浏览 3
提问于2016-12-21
得票数 2
回答已采纳
1
回答
ADLS
中
的
parquet文件
的
分区数是否与将其作为dataframe读取后
的
分区数相同?
、
、
我在ADLS中有3个拼花文件 2块文件有10个子块文件,当我在数据库
中
读取它时,分区
的
数量等于10个,这是预期
的
行为。第三个文件有172个 snappy.parquet文件,当我将它作为一个数据文件读取时,分区
的
数量等于89,原因是什么?使用此命令df.rdd.getNumPartitions()查找数据格式
的
分区数。
浏览 1
提问于2022-07-17
得票数 1
回答已采纳
2
回答
java zipentry getsize返回-1
、
、
Java zipEntry.getSize()返回实际文件
的
大小
,有时返回-1 (尽管
文件大小
大于
0)。 Java文档说“返回条目数据
的
未压缩
大小
,
如果
不知道,返回-1”。不确定它会返回
什么情况
-1,也就是在
什么情况
下它将是未知
的
?
浏览 2
提问于2016-03-16
得票数 9
回答已采纳
2
回答
使用apache
spark
加载一个非常大
的
csv文件
、
我需要使用Apache
Spark
加载巨大
的
csv文件。 到目前为止,我使用Apache
Spark
的
read方法加载了不同
的
文件。我没有遇到任何问题。然而,
文件大小
并不大,大约是100兆字节。现在我收到了一些可伸缩性问题,比如:“
如果
文件不适合
驱动程序
的
内存,会
发生
什么?”
spark
.read方法是如何工作
的
?是否将csv文件加载到
驱动程序
(主节点)
的
浏览 41
提问于2019-04-30
得票数 0
1
回答
当
文件大小
大于
spark
中
的
群集内存
大小
时会
发生
什么?
我很想了解
spark
框架在
文件大小
大于
集群内存
大小
时
的
行为。假设集群中有2个节点,内存为64 GB ( 32 GB +32 GB),要处理
的
文件为100 GB。我读到Node
中
50%
的
内存被分配为RDD持久化
的
存储内存,而Node
中
剩余
的
50%
的
内存被分配为工作内存。工作内存可以上下浮动,并且可以占用存储内存(
如果
可用)。在这种情况下,
spark
浏览 21
提问于2020-07-24
得票数 0
1
回答
如何知道内容长度
、
我想知道远程文件
的
大小
而不需要下载它。我知道有一些使用"Content-length“头值
的
解决方案,但是对于一些链接来说,这个头值是缺失
的
。在这种情况下,一种解决方案是下载整个文件,但
如果
文件
大于
1 1Gb会
发生
什么情况
。
如果
你有任何语言
的
解决方案,我都会采纳。谢谢。
浏览 0
提问于2012-04-26
得票数 2
回答已采纳
1
回答
将日志从码头容器发送到FluentD
、
、
现在,我使用FluentD日志
驱动程序
,但我有疑问。在文档(link:)上,它说,FluentD缓冲区限制
的
最大
大小
是8MB,但是,我想知道它到底是如何工作
的
?来自Docker容器
的
日志是否存储在这个缓冲区
中
,然后FluentD读取这个文件? 另外,这个文件究竟存储在我
的
系统
中
的
哪里,我如何查看它呢?
如果
文件大小
超过8MB,会
发生
什么情况
?
浏览 1
提问于2016-08-23
得票数 0
1
回答
Py4JJavaError:调用o1670时出错
、
、
我正在尝试将
spark
RDD转换为Pandas DataFrame。 我使用csv文件作为示例。68.02,Nunavut,电器,0.58 "Cardinal Slant-D�环形粘合剂,重规格乙烯基“,巴里·弗伦奇,293,46.71,8.69,2.99,努纳武特,粘合剂和粘合剂配件,0.39 我
的
代码如下$.writeUTF(PythonRDD.scala:394) at org.apache.
spark
.api.python.PythonRDD$.org$apache$
spark
$api$pyth
浏览 50
提问于2020-04-23
得票数 2
1
回答
事务日志备份
文件大小
在sql server 2012上设置事务日志备份后,日志
文件大小
仍在增长,而当我链接时,日志
文件大小
仍保持不变。
如果
我将最大
文件大小
分配给日志文件,会
发生
什么情况
?如何防止日志
文件大小
增加到1 gb。谢谢
浏览 1
提问于2013-12-11
得票数 0
3
回答
如果
指定
的
最大堆
大小
大于
可用RAM,会
发生
什么情况
、
在一次采访
中
问道。
如果
指定
的
最大堆
大小
(Xmx)
大于
可用RAM,会
发生
什么情况
?我还想知道,
如果
指定
的
最小堆
大小
(Xms)
大于
可用RAM,会
发生
什么?
浏览 1
提问于2010-09-06
得票数 25
回答已采纳
1
回答
数据库Filestore =0
、
、
、
我在湖里有几百GB
的
数据。我在获得数据库查找这些文件时遇到了各种各样
的
问题。当我使用Azure Data时,一切都很好。开始把我逼疯了!例如,当我运行以下命令时:我收到这样
的
信息: java.io.FileNotFoundException我
的
湖里有成千上万
的
文件!我不明白为什么我不能得到这些文件
的
清
浏览 2
提问于2019-10-04
得票数 1
回答已采纳
2
回答
EOF与读取器/作者同步
、
、
、
、
文件
的
EOF工作流是什么(关闭文件句柄,如^D或^z)?
如果
EOF从来没有写过,会
发生
什么?还有什么是不想要
的
场景?-Nikhil区块报价 现在
浏览 7
提问于2012-05-28
得票数 0
1
回答
CSVHelper是否处理文件溢出?
、
当CSVHelper为标准Win10系统追加太多记录并超过
文件大小
限制时,会
发生
什么情况
?CSVHelper
会
溢出到另一个文件吗?这种逻辑是如何工作
的
,还是我必须自己写?谢谢!
浏览 12
提问于2022-10-03
得票数 0
1
回答
Stream.CopyTo()方法可以保存不完整
的
流吗?
、
、
我想知道
的
是,在任何情况下,此代码是否
会
导致上传
的
流仅部分附加到目标流?是什么导致了这种行为?我应该做些什么来避免这种情况? 或者这是完全安全
的
,我应该在其他地方寻找bug?", fil
浏览 3
提问于2015-03-09
得票数 3
1
回答
Pyspark应用程序
中
的
纯Python / Python特定代码
、
、
我正在使用Python作为
spark
应用程序
的
语言。
如果
我们将纯python代码作为星火应用程序(
spark
)执行,会
发生
什么情况
。它将在执行者或
驱动程序
本身上执行吗?既然主要功能是在火花上运行,我认为应该是在
驱动程序
上,但我也读过火花不做任何计算,那么它会在执行器上运行吗?我可能漏掉了什么东西。
如果
有人能解释这件事的话。
浏览 1
提问于2022-01-11
得票数 1
1
回答
RDD存储在哪里?
、
如果
我有一个Hadoop集群,比如说,3个数据节点和1个名称节点,并且在
spark
代码
中
我使用了类似dataframe.persist(MEMORY_AND_DISK)
的
东西,那么这些数据在哪里被持久化它是在Namenode(
驱动程序
)
的
内存
中
还是在Datanode (executor)
的
内存
中
,或者两者都有? 另外,缓存数据
的
存储是否依赖于堆
大小
?
如果
是这样,我如何增加所有节点<
浏览 12
提问于2018-02-12
得票数 1
2
回答
是否所有作业都需要完成才能完成火花应用程序?
、
但是,然后我发现了这个参数:
spark
.driver.maxResultSize:以字节为单位限制每个火花操作(例如收集)
的
所有分区
的
序列化结果
的
总
大小
。应该至少是1米,或者0是无限
的
。
如果
作业
的
总
大小
超过此限制,将被中止。有一个很高
的
限制可能
会
导致
驱动程序
中
内存不足
的
错误(取决于
spark
.driver.memory和JV
浏览 4
提问于2022-01-21
得票数 1
回答已采纳
3
回答
什么时候.php文件太大?
、
目前有1,000行代码,
文件大小
为46KB。这不是一个疯狂
的
尺寸,但这让我思考。 问:在
什么情况
下,
文件大小
和/或PHP文件
中
包含
的
代码量
会
开始影响性能?
浏览 8
提问于2013-05-30
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
万亿级数据规模下的倾斜调优
高效管理文件方法:如何根据文件大小批量移动至指定文件夹的详细操作
怎么缩小图片的文件大小?图片文件修改办法介绍
如何压缩pdf,这三种方法压缩快速有效
SparkSQL在有赞大数据的实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券