位置约束是否需要hadoop s3a额外的权限策略？Code: 400; Error Code: 400 Bad Request;{}但不适用于没有位置约束的存储桶 "LocationConstraint": nul
浏览 36提问于2018-08-30得票数 0
我正在尝试在Amazon EMR(Hadoop2.8.5sqoop 1.4.7)中执行sqoop import。当未指定avro选项(--as-avrodatafile)时，导入会进行得很好。在本地(在我的机器中)运行时，我发现将sqoop中的avro-1.8.1.jar复制到hadoop lib文件夹中是可行的，但在EMR集群中，我只能访问主节点，所以执行上述操作无效，因为它不是运行作业的主节点
浏览 27提问于2019-10-30得票数 0
我在上传大文件到s3a时遇到了一个无法解释的问题。我使用带有spark-2.4.4-bin-hadoop2.7和Spark DataFrame的EC2实例来写入V4版本的s3a。过程如下: 1)从s3a中读取csv文件作为火花DataFrame；2)数据处理；3)将数据帧以拼接的格式上传到s3a中
如果我使用400MB的csv文件执行此过程，则没有任何问题，一切工作正常。但当我在将
浏览 6提问于2019-09-09得票数 1
AFAIK是Hadoop + Spark的最新、最好的S3实现，它是通过使用"s3a://“url协议调用的。这在预配置的Amazon EMR上非常有效。但是，在使用预构建的spark-2.0.0-bin-hadoop2.7.tgz在本地开发系统上运行时，我得到 ... 99 more
接下来，我尝试启动我<em
浏览 0提问于2016-09-03得票数 3
在从s3读取数据的过程中，我们得到了套接字超时。关于增加socketTimeOut的文档并不明显。会非常感谢你的帮助。org.jets3t.service.impl.rest.httpclient.HttpMethodReleaseInputStream.close(HttpMethodReleaseInputStream.java:194)
at org.apache.hadoop.fs.s3native.NativeS3FileSystem
浏览 20提问于2016-12-17得票数 1
我试图在测试容器中的Local堆栈中将拼图写入S3，并得到以下错误：它使用的是真正的S3，它使用的是Spark2.4和Hadoop2.7。我使用的是: Scala 2.12.15，Spark 3.2.1，ha
浏览 9提问于2022-06-14得票数 0
1回答
我成功地将Hadoop与3个datanodes作为一个小集群进行了设置，一切都正常。在试图访问S3A协议上的AWS桶时，我得到了以下错误：
java.lang.RuntimeException)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.jav
浏览 1提问于2018-12-25得票数 0
回答已采纳
版本Hadoop 2.7Spark事件日志位于亚马逊S3中。我得到了以下错误spark.hadoop.fs.s3a.
浏览 1提问于2018-01-24得票数 1
你们这些人sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", "...") sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", "...") sc.textFile("s3a://path").count()
someBigNumbersc.hadoopConfiguration.s
浏览 5提问于2017-01-13得票数 0
尝试使用SparkV2.4中的Amazon (特别是s3a水桶)。log4j.logger.com.amazonaws=DEBUGlog4j.logger.org.apache.http.
浏览 0提问于2018-12-25得票数 0
我们正在尝试设置Cloudera5.5，其中HDFS将只用于s3，因为我们已经在Core-site.xml中配置了必要的属性。</value>在设置它之后，我们能够从命令中浏览s3桶的文件它只显示s3上可用的文件。但是，当我们启动纱线服务时，JobHistory服务器无法从下面的错误开始，并且在启动猪作业时也会出现相同的错误</em
浏览 0提问于2015-12-16得票数 7
回答已采纳
3回答
我有一个端点服务器，它可以很好地支持spark中的s3a文件系统，现在我想支持s3n://和s3://
有没有人有什么建议来实现这个目标？
浏览 0提问于2019-03-13得票数 0
我使用hadoop-credential api在jceks文件中配置了s3 key (访问密钥和秘密密钥)。用于该命令的命令如下：hadoop凭据创建fs.s3a.secret.key -provider -provider然后，我将使用直线打开到火花服务器的连接，并在连接字符串中传递jceks文件路径，如下所示：
直线"jdbc:hive2:/&#x
浏览 3提问于2017-05-19得票数 1
我正试图从法兰克福(eu-central-1)的一个s3桶中复制一个文件到我的hdfs上，这个文件是通过爱尔兰的EMR (eu-west-1)托管的。我试图在以下位置执行的复制命令：和
s3-dist-cp
浏览 1提问于2016-01-15得票数 2
我在S3上的一个文件夹中保存了一个测试模型，比如bucket-name/ MLLib - model。现在，我有了一个spark集群(假设现在在一台机器上)。我正在运行以下命令来加载模型：m1 = RandomForestClassification
浏览 0提问于2019-09-28得票数 1
回答已采纳
我试图使用Table在Flink应用程序中利用s3a文件系统。我在EMR6.1(预装有Flink 1.11.0)。org.apache.flink.core.fs.UnsupportedFileSystemSchemeException
指示s3://或s3a:// URI都不支持任何文件系统我反复检查了我的应用程序中没有
浏览 2提问于2021-09-01得票数 0
回答已采纳
3回答
我有一个很大的S3files存储桶，我想放在HDFS上。考虑到涉及的文件数量，我更喜欢的解决方案是使用“分布式复制”。然而，由于某些原因，我无法让hadoop distcp接受我的亚马逊S3凭据。我使用的命令是： hadoop distcp -update s3a://[bucket]/[folder]/[filename] hdfs:///some/pa
浏览 236提问于2017-11-23得票数 5
回答已采纳
我想上传图片到亚马逊s3，用QUEUE_CONNECTION 7.30，一切正常，当QUEUE_CONNECTION打开：‘syncI Next Aws\S3\Exception\S3Exception: Error executing "PutObject"
请帮帮我..。
浏览 0提问于2020-11-17得票数 0
我尝试使用s3n://和s3a:// url从雪花复制结果到亚马逊s3，但得到一个SQL编译错误。sql查询的格式为FROM ( FILE_FORMAT = (TYPE=
浏览 0提问于2021-01-20得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
