当我尝试在IntelliJ中运行FLink程序时，不断收到此消息java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.InstanceProfileCredentialsProvider : com.amazonaws.SdkClientExc
浏览 196提问于2020-02-27得票数 0
我对Apache比较陌生，我正在尝试创建一个简单的项目，该项目生成一个AWS S3桶文件。根据文档，似乎需要安装Hadoop才能做到这一点。
如何设置本地环境以允许测试此功能？我已经在本地安装了Apache和Hadoop。我为Hadoop的核心-site.xml配置添加了必要的更改，并将我的HADOOP_CONF路径添加到了flink.yaml配
浏览 0提问于2016-12-29得票数 4
回答已采纳
我已经阅读了文档和教程，我可以看到，所有节点，无论是namenode/datanode，都需要安装hadoop。客户端也需要hadoop安装吗？例如，在python中，我看到了通过将namenode作为参数从hdfs导入py箭头和读取数据的示例代码。在这种情况下，是否需要安装hadoop？
浏览 2提问于2022-08-21得票数 0
1回答
电子病历上S3的外部检查点
、、、、
我正在尝试为我的Flink程序部署一个生产集群。我使用的是一个安装了Flink 1.3.2的标准hadoop-core EMR集群，使用YARN来运行它。我在尝试运行程序时收到以下错误：
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache我已经尝
浏览 1提问于2017-09-11得票数 1
我目前正在开发一个Flink应用程序，它使用一些Hadoop依赖项将数据写入S3位置。在本地环境中，它工作正常，但是当我在EMR集群上部署这个Flink应用程序时，它会抛出一个与兼容性问题相关的异常。我使用的Flink版本是1.2.0
但是，当我显式地将兼容性JAR复制到${FLINK-HOME}/lib位置时，我不会得到任何异常，并且能够成功地运行Flink</
浏览 0提问于2018-02-08得票数 3
回答已采纳
1回答
我需要一个模拟器在Hadoop上运行一些服务器：
能够处理数据库。我想在它上运行一个Java并查看它的结果。运行Hadoop而没有MapReduce。
浏览 4提问于2019-12-01得票数 0
回答已采纳
亲爱的蜂群智慧，
我对flink和hadoop还不熟悉，所以我试着玩了一下。我有3个Google平台VM，我想在上面安装flink和hadoop分布式文件系统HDFS。因此，为了安装HDFS，我遵循了一个教程，一切似乎都正常。我可以使用hdfs dfs -COMMAND /通过CLI存储、访问和列出文件。所以现在我从apache网站下载了flink的二进
浏览 8提问于2021-01-28得票数 2
回答已采纳
我有一个独立的Flink安装，我想在上面运行一个流作业，将数据写入HDFS安装。HDFS安装是Cloudera部署的一部分，需要Kerberos身份验证才能读取和写入HDFS。由于我没有找到关于如何使Flink与受Kerberos保护的HDFS连接的文档，所以我不得不对这个过程进行一些有教养的猜测。以下是我迄今所做的工作：
我为用户创建了一个keytab文件。在我的Fl
浏览 0提问于2016-01-04得票数 3
我正在AWS EMR 6.2上部署我的Flink应用程序我将该步骤配置为：如本文所述：集群和步骤都处于“运行”状态。flink-session -d -n 2‘
然而，syslog显示应用程序并没有获取Yarn上下文。我在我的应用</em
浏览 0提问于2021-02-24得票数 3
我想对Apache和进行一些修改，并在本地机器上测试这一点。我阅读了文档，但我仍然不确定要在本地设置什么才能运行。我已经做的是，我有一个本地启动的docker-compose文件，一个hadoop和-datanode，以及一个在Postgres中存储元数据的蜂窝服务器。此外，我还设置了一个本地Flink项目(使用Scala2.12的Java项目)。在我的IDE中，
浏览 15提问于2022-03-16得票数 0
1回答
将数据流从flink传输到S3
、、、、
我在amazon EMR上使用Flink，并希望将我的流水线结果流式传输到s3存储桶中。我使用的是Flink版本=> 1.11.2 这是代码片段，展示了代码现在的样子，变量： val outputPath = new Path("s3://test/flinkStreamTest/failureLogs(Task.java:546)
at java.lang.Thread.run(Thread.java:748) 我已经将s3-fs-
浏览 573提问于2021-05-11得票数 1
2回答
文件夹中的流式文件
、、、
我要把流媒体应用从flume转移到kafka。我有一台windows机器，在其上，由物联网传感器在特定位置(例如D:/Folder )连续生成CSV文件。我想把它转移到hadoop集群。
1)在传输日志文件之间是否需要kafka集群/代理，或者是否可以直接从windows机器传输到hadoop linux机器？2)是否可以在windows和hadoop<
浏览 4提问于2017-12-26得票数 0
1回答
我有三个物理节点，每个节点上都安装了码头。我在每个码头上配置了Mesos，马拉松，动物园管理员，Hadoop和Flink。我可以运行Mesos，马拉松，动物园管理员和hadoop，没有任何问题；我还在hdfs中创建了一个文件夹flink。顺便说一下，我配置了高可用的hadoop集群并运行，没有任何问题。但是，当我使用这个JSON文件在马拉松上运行
浏览 5提问于2019-04-30得票数 0
回答已采纳
2回答
但这让我思考:是否有某种概念上的原因，为什么Pandas脚本不能通过实现兼容性层来将Pandas原语转换为Spark原语，从而使Pandas脚本不能在星火集群上运行，就像Dask的工作方式一样？
浏览 1提问于2018-09-11得票数 2
回答已采纳
我目前正在开发一个从Hadoop集群读取Avro文件的Flink 1.4应用程序。但是，在我的IDE上以本地模式运行它工作得很好。:99)我正在使用官方的Flink Docker镜像flink:1.4.0-hadoop28-scala_2.11运行集群，该镜像应该已经包含Hadoop发行版。我还尝试将依赖项添加到我的<em
浏览 207提问于2018-02-14得票数 7
<artifactId>flink-hadoop-compatibility_2.11</artifactId> <artifactId>flink-s3-fs-hadoop</artifactId>
<version>1.7.1</vers
浏览 0提问于2019-04-04得票数 2
回答已采纳
我试图在纱线集群上运行示例代码(flink_examples_WordCount.jar)，但得到了下面的安全身份验证错误。Available:[TOKEN, KERBEROS]
我不知道问题在哪里，我错过了什么。我可以在同一个cloudera集群中运行spark或映射减少作业，而不会出现任何问题。我确实更新了flink- CONF文件路径中的hdfs-site.xml和core-site.xml (在主节点和工作节点中更新相同)，并
浏览 5提问于2015-08-19得票数 1
3回答
我正在尝试为GCS中的flink作业配置检查点。如果我在本地运行一个测试作业(没有停靠器和任何集群设置)，那么一切都可以正常工作，但是如果我使用docker -复合或集群设置运行它，并在flink仪表板中部署带有作业的fat jar，那么它就会失败。有什么想法吗？谢谢!>1.5.1</version>另外，我还将flink</em
浏览 2提问于2018-08-15得票数 2
回答已采纳
Apache与Hadoop上的Mapreduce相比如何？在哪些方面更好，为什么呢？
浏览 9提问于2015-04-28得票数 14
回答已采纳
我将Flink Hadoop兼容性添加到从hdfs路径读取序列文件的项目中， <groupId>org.apache.flink</groupId> NullWritable.class, BytesWritable.class, path));
当我在Eclipse中运行它时有些人建议将FLINK
浏览 0提问于2019-04-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
