1回答
我的问题是，假设我们在HDFS上有两个拼图文件:file1.parket和file2.parket，它们位于不同的路径中，我想复制file1.parket来替换file2.parquet。我使用了命令hdfs dfs -cp -f /path1/file1.parquet /path2/file2.parqet，没有抛出错误，但是file2.parquet根本没有改变。我必须先删除file2.parket，然后再复制file1.parquet。
有
浏览 11提问于2020-06-04得票数 2
2回答
我正在尝试从hdfs位置读取拼图文件，做一些转换并覆盖相同位置的文件。我必须在相同的位置覆盖文件，因为我必须多次运行相同的代码。下面是我写的代码
val df = spark.read.option("header", "true").option("inferSchema", "true").parquet("hdfs://
浏览 0提问于2018-09-04得票数 1
1回答
我的拼图文件的当前模式是：org.apache.spark.sql.types.StructType = StructField(route,StringType,true), StructField(wgt,StringType,true))org.apache.spark.sql.types.StructType= StructField(route,StringType,true), Struct
浏览 11提问于2021-06-02得票数 0
我使用Intel ISA-L库在RHEL 6.7 linux机器上构建了Hadoop 3.2.0。此外，还在Hadoop安装中启用了本地库支持。我已经在这个测试集群上使用"haoop fs - copyFromLocal“和RS-6-3-1024k编码器策略复制了一些拼图格式的文件。然而，当我尝试使用Spark 2.4.3读取这些拼图文件时，我得到了下面的异常。请注意，我能够使用hadoop命令、HDFS web界面等将这些文件</e
浏览 3提问于2019-08-14得票数 2
我成功地使用avro Tools ReflectData创建了Avro schema，并使用ReflectDatumWriter将数据写出avro文件。在Hive中，我能够创建一个表，并使用 ('avro.schema.url'='hdfs:///schema.avsc');假设我完成了该任务，并在拼接文件中具有相同的数据。如何在
浏览 1提问于2014-10-15得票数 0
2回答
我已经使用DataFrame.saveAsParquet()命令在Spark上保存了一个拼图文件。
如何通过python代码删除/移除此文件？
浏览 2提问于2016-06-03得票数 3
回答已采纳
我有一个在EMr集群上运行的Spark作业，它将一个DataFrame写到HDFS (然后是s3-dist-cp-ed到S3)。数据大小不大(另存为parquet时为2 GB )。然后将S3中的这些数据复制到本地文件系统(运行Linux的EC2实例)，然后加载到Java应用程序中。原来我不能有parquet格式的数据，因为parquet是为HDFS设计的，不能在本地文件系统中使用(如果我错了，请告诉我如何在本地文件系统上读取拼
浏览 10提问于2018-07-20得票数 0
我正在从Kafka获取实时数据，并使用Spark处理这些数据。因为这个表需要频繁更新，所以需要花费很多时间。
浏览 18提问于2019-11-03得票数 0
伪码集群：现在我需要修改一些/conf文件。我将更改配置文件，并将名称节点格式化为"Root2“，使其生效。如果我浏览HDFS，它将是空的(这意味着它将不包含先前为“Root1
浏览 2提问于2012-03-12得票数 0
3回答
我在HDFS中有一个小的拼图文件(7.67MB)，用snappy压缩。该文件有1,300行和10500列，均为双精度值。当我从拼图文件创建一个数据框并执行一个简单的操作，如计数，它需要18秒。table").show)|count(1)|| 1300|能做些什么来提高宽文件的性能吗
浏览 4提问于2018-09-12得票数 2
5回答
我想使用VI直接在HDFS中编辑一个文本文件，而不必将它复制到本地，编辑它，然后从本地复制它。这个是可能的吗？
编辑:在Cloudera的Hue UI中，这曾经是可能的，但现在不再是这样了。
浏览 22提问于2014-11-07得票数 11
回答已采纳
2回答
+ "/Trades_" + tradedateInt + ".parquet"
tradesdf.write.mode("overwrite").parquet(TradesWritePath) 如您所见因此，作为示例，第一天的第一个文件将存储在文件夹中 交易/2019/08/25 然后第二天，它就会在文件夹里 交易/2019/08/26 问题是，当所有数据都被放入时，日期上
浏览 7提问于2019-09-09得票数 0
回答已采纳
1回答
我正在动态地将数据从sql复制到ADLS，我想在复制到adls之后重命名文件名。如何做到这一点？请求您的建议。问候你，阿肖克
浏览 3提问于2021-06-03得票数 0
2回答
单个节点HDFS在哪里存储与实际文件系统有关的文件？hadoop fs -copyFromLocal /home/cloudera/sample.txt hdfs://localhost/user/cloudera/sample.txt
实际上，如果我使用L
浏览 0提问于2015-12-30得票数 2
2回答
当我试图用file://test ()从指定的位置(如/test )读取拼图文件时，我得到一个错误，提示spark.read.parquet不存在。将core-site.xml作为资源添加到代码中时它确实在hdfs我的问题是如何确保spark读取core-site.xml并使用hdfs作为默认文件<
浏览 5提问于2019-06-25得票数 1
据我所知，hdfs会将文件分成类似64mb的块。我们有流式传输的数据，我们可以将它们存储到大型文件或中型文件中。列式文件存储的最佳大小是多少？如果我可以将文件存储到最小列为64mb的位置，是否会比拥有1 1gb的文件节省任何计算时间？
浏览 1提问于2017-03-21得票数 25
回答已采纳
1回答
在HDFS上追加文件(Cloudera2.0.0-cdh4.2.0)时，我遇到了错误。导致错误的用例是：
追加先前创建的文件。Nodes: current=[host1:50010, host2:50010], original=[host1:50010, host2:50010]) at org.apache.hadoop.hdfs.DFSOutputStream(DF
浏览 2提问于2013-03-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
