腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Flink
dataset
API
对
源代码
中
读取
的
总
记录
进行
计数
apache-flink
我们目前
使用
Flink
DataSet
API
从FileSystem
读取
文件并应用一些批处理转换。我们还希望获得作业完成后处理
的
总
记录
。管道类似于
dataset
.map().filter() count()函数似乎是一个非并行运算符,它需要从所有数据集中
进行
额外
的
计算。有没有什么方法可以在map操作符
中
对
处理过
的
记录
进行
浏览 12
提问于2020-05-01
得票数 1
回答已采纳
1
回答
在
Flink
中
的
范式之间移动数据
apache-flink
我在一个关系数据库中有一些批处理
的
数据,我想
使用
Flink
将它们推送到消息总线上。由于
Flink
同时支持批处理和流模式,因此它看起来非常适合。话虽如此,我不知道这项任务是属于StreamingJob还是BatchJob,以及
如何
将两者联系起来。此任务是否更适合FlinkSQL环境? 这个是可能
的
吗?我需要注意什么?
浏览 25
提问于2021-04-28
得票数 0
回答已采纳
2
回答
我可以在同一个
DataSet
作业中
使用
Flink
接口和DataStream接口吗?
apache-flink
、
flink-streaming
我正在
使用
Flink
streaming从Kafka
读取
数据并处理数据。在应用程序启动时
使用
Kafka之前,我需要
使用
DataSet
应用程序接口
读取
一个文件,并根据一些标准对文件
进行
排序,然后根据它创建一个列表。然后开始以流媒体
的
方式从Kafka消费。我已经编写了一个逻辑来
使用
DataSet
API
从文件
中
读取
数据并
对
其
浏览 23
提问于2017-07-12
得票数 0
回答已采纳
2
回答
Flink
:
DataSet
.count()是瓶颈--
如何
计算并行?
java
、
mapreduce
、
apache-flink
我正在学习地图-减少
使用
Flink
,并有一个问题,
如何
有效地
计数
元素在一个
DataSet
。到目前为止,我得到
的
是:long num = ds.count(); 2016年3月12日19:47:27我认为count()内部从所有四个CPU收集
DataSet
,并按顺序
对
它们<e
浏览 0
提问于2016-12-03
得票数 2
1
回答
使用
富链接InputFormat创建Elasticsearch
的
输入格式
elasticsearch
、
apache-flink
、
flink-batch
我们
使用
的
是Elasticsearch 6.8.4和
Flink
1.0.18。我们在elasticsearch中有一个带有1个分片和1个副本
的
索引,我想创建自定义输入格式,以便
使用
apache
Flink
dataset
API
读取
和写入elasticsearch
中
的
数据,并具有超过1个输入拆分,以实现更好
的
性能。注:每个文档大小较大(几乎为8mb),并且由于大小限制和每个
浏览 19
提问于2020-09-05
得票数 0
回答已采纳
1
回答
是否可以在
Flink
的
数据流中
使用
Dataset
转换-:"Distinct()“?
apache-flink
、
flink-streaming
、
flink-sql
、
flink-batch
我想知道,无论
如何
,
Flink
的
数据流
API
是否可以用来从传入
的
记录
中
删除重复项(可能是在特定
的
时间窗口内),就像
Dataset
API
一样,它提供了一个称为"Distinct“
的
转换。或者,如果数据集被转换为数据流以便在
Flink
中
进行
内部处理,则无论
如何
都可以将该数据集转换为数据流。 在这方面请帮帮我。提前感谢!干杯!
浏览 1
提问于2020-03-05
得票数 0
2
回答
Flink
1.12.x
DataSet
->
Flink
1.14.x DataStream
apache-flink
、
flink-streaming
、
flink-batch
我正在尝试从
Flink
1.12.x
DataSet
api
迁移到
Flink
1.14.x DataStream
api
。mapPartition在
Flink
DataStream
中
不可用。我们
的
代码
使用
Flink
1.12.x
DataSet
.out.collect(...); // Collect processed data
浏览 9
提问于2022-02-09
得票数 0
1
回答
从目录
读取
时出现太多打开
的
文件错误
apache-flink
我
使用
readTextFile(/path/ to /dir)来
读取
批文件,
对
行
进行
一些操作,并将它们保存到cassandra。一切看起来都很好,直到我到达目录
中
的
170多个文件(在成功运行后文件被删除)。现在我收到了"IOException:打开
的
文件太多了“,在运行代码后,我看到成千上万
的
文件描述符正在打开。
对
只有10个文件
的
较小规模
的
测试导致了4000多
浏览 3
提问于2016-10-20
得票数 0
回答已采纳
1
回答
具有Hbase表输入格式
的
Flink
DataSet
api
-多次
读取
行
hadoop
、
hbase
、
apache-flink
我
使用
Flink
1.3.2与来自
flink
连接器
的
hbase (
flink
-hbase_2.11),
使用
DataSet
API
。在我
的
测试表
中
,没有人会写到这个表。(大约2000万条
记录
),工作并不总是
读取
相同数量
的
记录
。(我通过
flink
web仪表板获得了这个数字,但是我可以从写到
的
东西中看到效果 我不
浏览 2
提问于2017-12-07
得票数 0
1
回答
从Apache
中
的
SQL数据库
读取
DataSet
时找不到JDBC驱动程序
java
、
maven
、
jdbc
、
apache-flink
在上学习了Apache
的
初学者Java教程之后,我想尝试
对
自己
的
数据
进行
一些转换。但是,我在收集运行在网络
中
的
服务器上
的
Microsoft数据库
的
输入时遇到了问题。关于
的
部分
中
的
示例包含一个类似于我所需要
的
部分,其中一个
DataSet
是
使用
env.createInput(.)构建
的
。用JDBCInputFormat。_2.11&
浏览 3
提问于2016-11-10
得票数 1
回答已采纳
1
回答
相同大小但不同行长
的
火花
读取
性能差异
apache-spark
、
amazon-s3
、
apache-spark-sql
、
performance-testing
我正在
使用
spark来
读取
两个不同
的
数据集,这些数据集位于S3
中
的
ORC格式
中
。但是,对于几乎相同大小
的
数据集来说,阅读性能上
的
差异是巨大
的
。212,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000列
的
记录
浏览 7
提问于2017-10-05
得票数 3
1
回答
readCsvFile错误:
如何
为类型
的
证据参数指定隐式值
scala
、
apache-flink
、
scala-2.11
、
flink-batch
我正在IntelliJ
中
创建和测试一个机器学习模型,该模型将对来自流
的
传入数据
进行
分类。我正在Scala (2.11.8)和
使用
Flink
框架(1.8.3)
中
工作。我正在尝试
读取
一个csv文件,该文件包含具有长、双和布尔数据类型
的
列
中
的
培训数据,这些数据类型如下: val env = ExecutionEnvironment.getExecutionEnvironment/training.csv)(<em
浏览 10
提问于2020-08-12
得票数 1
2
回答
为泛型类
使用
clojure
中
的
类型提示
generics
、
clojure
、
type-hinting
、
clojure-java-interop
、
apache-flink
我正在尝试从运行在clojure
中
的
Apache
中
获得一个小示例,但是现在我被困住了,因为clojure
中
的
类型暗示和
flink
中
的
一些奇怪
的
怪癖。这是我
的
代码: (:import (org.apache.
flink
.
浏览 2
提问于2015-08-20
得票数 5
回答已采纳
2
回答
获取OleDbDataReader ASP.NET返回
的
行数(VB)
asp.net
、
vb.net
、
row
、
datareader
使用
DataReader连接数据库后,
如何
统计rows
的
数量? 谢谢。
浏览 1
提问于2010-06-18
得票数 3
1
回答
与Google Fit
API
的
距离
android
、
google-fit
、
google-fit-sdk
Google fit
API
也提供了历史
记录
中
的
步骤
计数
。
如何
从
API
获取距离历史
记录
?task.getException()); }} @Overri
浏览 0
提问于2018-03-06
得票数 0
1
回答
Apache :
如何
使用
表
API
查询关系数据库?
apache-flink
、
flink-streaming
、
flink-sql
. tEnv.registerTableSource("sensors", sensorTable) 我想从关系数据库
中
读取
数据。
Flink
有用于JDBC数据库
的
TableSource吗?
浏览 2
提问于2017-12-14
得票数 2
回答已采纳
3
回答
如何
在S3
中
把
DataSet
写成拼图文件?
apache-flink
、
parquet
如何
使用
Flink
在s3存储桶
中
编写
DataSet
作为拼图文件。有没有像spark :DF.write.parquet(“在拼图中写”)这样
的
直接函数?
DataSet
<Tuple2<Void,GenericRecord>>
浏览 0
提问于2019-12-14
得票数 3
1
回答
如何
在写入apache
中
的
自定义接收器之前缓冲
记录
google-bigquery
、
apache-flink
、
flink-streaming
我
对
Flink
相当陌生,在技术用例方面需要一些帮助。我有一个在GKE上运行
的
flink
应用程序,并
使用
自定义接收器将
记录
(从Kafka源)写入BigQuery。我可以将
记录
写入BigQuery,而不会出现任何问题。目前,
记录
被一个接一个地写入接收器
中
,因此每个kafka消息都会得到自己
对
BigQuery
的
插入
api
调用,这并不理想,因为我们需要执行批量插入,并且单独插
浏览 5
提问于2022-10-18
得票数 2
回答已采纳
1
回答
在
Flink
数据集中保存部分输出
的
可能性?
hadoop
、
apache-flink
我正在
使用
flink
dataset
API
进行
迭代计算。如果我在不保存结果
的
情况下
使用
flink
dataset
API
进行
批量迭代,代码如下所示:o
浏览 4
提问于2016-05-14
得票数 2
回答已采纳
1
回答
如何
在将
Flink
数据集写入hdfs时创建作业对象
apache-flink
我试过
使用
hive,但它不支持batchExecute。因此,我修改了它,将其写入hdfs,然后生成hive表。我尝试
使用
以下代码编写hdfs:importorg.apache.
flink
.
api
.java.
DataSet
; import org.apache.
flink
.
api
.
浏览 0
提问于2018-10-31
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
flink handbook-flink数据流编程模型
《从0到1学习Flink》——Apache Flink 介绍
Flink:动态表上的连续查询
腾讯实时计算团队向Flink 1.7.0贡献了36个PR
Flink概念:编程模型上
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券