2回答
如何使用Flink独立集群上Flink作业中的两个Kerberos键(对于Kafka和Hadoop )？
hadoop、apache-kafka、hdfs、apache-flink、flink-streaming
问题
如果不可能，在Kafka和HDFS</e
浏览 0提问于2018-05-02得票数 5
回答已采纳
1回答
在通过hdfs连接器从kafka写入时，是否有一种限制avro文件大小的方法？
apache-kafka、hdfs、apache-flink、apache-kafka-connect
目前，我们使用Flink FsStateBackend检查点并设置fileStateSizeThreshold，将写入HDFS上avro/json文件的数据大小限制在128 on。由于我们在新项目中没有使用高级Flink特性，所以我们希望使用Kafka Connect HDFS Connector中的Kafka流直接将消息写入hdfs (而不是旋转Flink)。但是，我无法找到限制卡夫卡连接器中hdfs文件的文件大小的选项，
浏览 0提问于2018-08-08得票数 1
回答已采纳
1回答
从Kafka到HDFS的Kafka流
apache-kafka、apache-kafka-streams
我有一个Flink作业，它从Kafka主题中读取数据并将其写入HDFS。检查点存在一些问题，例如停止Flink作业后，一些文件处于待定模式，还有一些检查点也会写入HDFS。我想尝试卡夫卡流相同类型的管道卡夫卡到HDFS。我发现了下一个问题-- ，你能告诉我如何解决吗？你能告诉我卡夫卡流保存文件的地方吗？
浏览 2提问于2021-06-02得票数 0
回答已采纳
1回答
如何在多个数据中心上进行flink检查点/保存点备份
apache-flink、flink-streaming
我有flink应用程序，将在DC-1 (数据中心1)的节点上运行，我们计划使用HDFS或AMAZON-S3备份保存点和检查点状态。我的组织中对HDFS和S3的支持是，它不会将写入DC-1的数据复制到DC-2 (他们正在做这件事，但时间线很长)。考虑到这一点，有没有一种方法可以让flink本身以某种方式将flink检查点/保存点写入两个DC？谢谢
浏览 18提问于2021-11-22得票数 0
1回答
如何在Apache Flink中降低接收配置单元数据的延迟？
hadoop、hive、apache-flink、flink-streaming
我使用Apache Flink将数据直接写入orc格式的HDFS文件，以便HIVE tale读取。Apache Flink将在检查点时间之后将正在进行的文件转换为完成状态。如果我们通过减少检查点时间来减少延迟，那么Flink会创建过多的HDFS文件。那么如何在不创建太多文件的情况下减少延迟呢？
浏览 22提问于2020-07-24得票数 0
回答已采纳
3回答
如何在flink独立安装上进行kerberos身份验证？
authentication、hadoop、kerberos、apache-flink
我有一个独立的Flink安装，我想在上面运行一个流作业，将数据写入HDFS安装。HDFS安装是Cloudera部署的一部分，需要Kerberos身份验证才能读取和写入HDFS。由于我没有找到关于如何使Flink与受Kerberos保护的HDFS连接的文档，所以我不得不对这个过程进行一些有教养的猜测。以下是我迄今所做的工作：
我为用户创建了一个keytab文件。我使用TextOutputFormat向HDFS写入数
浏览 0提问于2016-01-04得票数 3
1回答
在flink中不向HDFS写入文件
apache-kafka、hdfs、apache-flink
我试图通过flink使用kafka，并将结果保存到hdfs，但始终没有生成任何文件。不会产生错误信息..。 private val KAFKA_BROKER//topic infos
kafkaProps.setPropert
浏览 0提问于2019-08-01得票数 0
回答已采纳
1回答
如何在将Flink数据集写入hdfs时创建作业对象
apache-flink
因此，我修改了它，将其写入hdfs，然后生成hive表。我尝试使用以下代码编写hdfs：importorg.apache.flink.api.java.DataSet;import org.apache.flink<
浏览 0提问于2018-10-31得票数 0
回答已采纳
0回答
Flink写入iceberg时报错，json文件找不到？
javascript、node.js、大数据、flink、数据湖
用flink datastream API写入数据湖，写入一会儿就会报错
org.apache.iceberg.exceptions.RuntimeIOException: Failed to writejson to file: hdfs://master01-test.cndatacom.com:8020/edata/crop_prod/ods_t_enterprise_investment_1g/metadata/1cf4953b-9a63-415
浏览 286提问于2022-10-08
1回答
fs.hdfs.hadoopconf在flink-flink.flink中的用途
apache-flink
我能够在远程hdfs集群中的文件上运行示例wordcount.jar，而无需在flink中声明fs.hdfs.hadoopconf变量。flink-cluster.vm ~]$ /opt/flink/bin/flink run /opt/flink/examples/batch/WordCount.jar --input <em
浏览 2提问于2016-07-13得票数 3
回答已采纳
1回答
flink检查点如何帮助故障恢复
apache-flink、flink-streaming
我的flink作业使用FlinkKafkaConsumer010从kafka consumer读取数据，并使用CustomBucketingSink接收到hdfs。在成功的情况下，它提交kafka分区，偏移它读取，并维护一些与它正在写入的hdfs文件相关的状态。因此，我们可以说，当接收器将数据写入hdfs时，所有之前的操作符都处于空闲状态。在失败的情况下，flink转到以前的检查点状态，并指向kafka最后提交的分区偏移量，并指向它应该开始写入的<em
浏览 0提问于2020-03-12得票数 0
2回答
关于flink流接收器到hdfs
hdfs、apache-flink、flink-streaming
我正在编写一个flink代码，在该代码中，我从本地系统读取一个文件并使用"writeUsingOutputFormat“将其写入数据库。你能帮我一下吗?注意: hdfs已在我的本地机器上启动并运行。
浏览 1提问于2019-01-07得票数 1
回答已采纳
1回答
当动物园管理员数据重置时，flink会做什么？
apache-flink、apache-zookeeper、flink-streaming
我们的Flink使用动物园管理员作为HA服务。因此，动物园管理员不断地保存和存储Flink数据的快照。(卡夫卡与动物园管理员也有联系)
我很好奇，如果动物园管理员节点都被重置了，所有快照数据都消失了，那么Flink接下来会做什么呢？
浏览 0提问于2022-09-19得票数 2
1回答
当flink作业将数据写入hdfs文件时，是否可以每小时执行一次分区添加？
apache-flink、flink-streaming
目前，Flink可以直接将数据写入hive的ORC格式的hdfs文件，但需要每小时向HIVE表插入分区。有没有办法每小时触发一次函数？
浏览 57提问于2020-07-18得票数 1
回答已采纳
1回答
Flink写入Hdfs加密区域
apache-flink、flink-streaming
在当前的环境中，我有一个加密的hdfs区域。我使用Flink 1.2.0集群将parquet文件写入hdfs加密区域，使用Apache编写器版本1.9.0。我在写入非加密区域时没有问题，但是当我写信到加密区域时，我有以下错误：at org.apache.flink
浏览 5提问于2017-04-03得票数 1
回答已采纳
1回答
flink:无法初始化类org.apache.hadoop.hdfs.protocol.HdfsConstants
java、hdfs、apache-flink
为了将数据写入hdfs，我将flink-connector-filesystem_2.11添加到pom中，以便可以使用BucketingSink。当我将jar提交给flink集群时，它确实会向hdfs写入一些消息。然而，几分钟后，异常被抛出。at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1413)
at org
浏览 8提问于2019-06-28得票数 0
回答已采纳
1回答
如何配置Flink以将Hdfs用于后端状态和检查点
apache-flink、flink-streaming、flink-cep
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用hdfs作为后端状态、检查点和动物园管理员storageDir。state.backend:文件系统state.checkpoints.dir: hdfs:The attempt to use a default HDFS configuration, as
浏览 1提问于2017-03-22得票数 5
回答已采纳
2回答
HDFS上的Flink写入产生空文件
hadoop、apache-flink
我有一个flink作业，它使用TextOutputFormat将数据写入目标。代码如下： // String basePath = "hdfs://10.199.200.204:9000/data"但是，当我将基本路径更改为hdfs位置时，它不再像预期的那样工作。发生的情况是，输出文件实际上是在HDFS上创
浏览 1提问于2015-12-17得票数 3
1回答
Apache Flink:从HDFS读取文件
java、hdfs、apache-flink
因此，我必须检索存储在HDFS中的文件的内容，并对其执行某些分析。HDFS中的文件是纯文本文件。env.execute("File read from HDFS");}此外，该作业在web仪表板中显示为失败。下面是flink</
浏览 2提问于2018-05-18得票数 0
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号