我已经设置了spark配置,其中包括S3访问密钥和密钥以及设置impl。当我执行sqlContext.getAllConfs时,我可以看到值 但是在将文本文件读入df时,我得到了一个禁止的错误 val df = sqlContext.read .option("header", "true") // Use fir
我正在从本地运行一个Spark流媒体应用程序来读取S3存储桶中的内容。我使用Hadoop-AWS来设置S3身份验证参数-- org.apache.hadoop.fs.s3a.S3AFileSystem printAmazonServiceExceptionorg.apache.hadoop.fs.s3a.S3AFileSystem printAmazonServiceException - Class Na