腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7007)
视频
沙龙
1
回答
如
何在
flink
数据流
中
获取
拼图
文件
的
文件名
apache-flink
、
parquet
、
flink-streaming
我有一个
数据流
使用
拼图
输入格式,我想得到每个项目的
文件名
。这样我就可以更新记录
的
文件
了。我该怎么做呢?
浏览 45
提问于2021-08-11
得票数 1
回答已采纳
2
回答
ADF /
数据流
-将多个CSV转换为拼接
azure-data-factory
、
azure-data-flow
在ADLS Gen2
中
,TextFiles
文件
夹有3个CSV
文件
。每个
文件
中
的
列名都不同。我们需要将所有3个CSV
文件
转换为3个地块
文件
,并将其放在ParquetFiles
文件
夹
中
我尝试使用复制活动,但失败了,因为列名中有空格,而parquet
文件
不允许这样做 为了删除空格,我使用了
数据流
: Source -> Select (用列名称
中
的</em
浏览 40
提问于2020-08-29
得票数 0
回答已采纳
1
回答
如何使用Apache
Flink
按datetime分区在HDFS上写入parquet
文件
?
apache-flink
、
flink-streaming
在从kafka
获取
json数据并将其保存为要加载到hive
中
的
拼图
文件
的
过程
中
,我遇到了中提到
的
相同问题。有谁知道如何解决这个问题吗?谢谢。我使用
的
是Apache
Flink
1.4.0 + HDFS 2.7.3
浏览 50
提问于2018-01-04
得票数 1
1
回答
在ssis中加载带有csv扩展名
的
文件
sql
、
csv
、
flat-file
、
ssis-2008
、
flatfilesource
我必须加载带有csv扩展名
的
文件
,从一个特定
的
文件
夹到ssis
的
数据库。
文件名
未知,但
文件
夹和扩展名是固定
的
。
浏览 5
提问于2016-09-26
得票数 0
1
回答
如何组织复杂
的
Apache应用程序?
apache-flink
、
flink-streaming
、
flink-sql
我们使用
flink
从一些IoT传感器生成事件。每个传感器都可以用来产生不同类型
的
事件(
如
温度、湿度等)。一对多
的
比率(传感器->启用事件)。存储在关系数据库
中
的
传感器和启用事件之间
的
映射 为了丰富传感器数据,我们将传感器数据和表API连接起来。只需添加带有启用事件列表
的
元数据。因此,如果某些特定
的
sensor-123只启用了TEMP和PRESSURE事件,如何仅将传感器数据发送到这两个已定义
的
进程函数?如<em
浏览 4
提问于2022-01-25
得票数 1
1
回答
向隐藏
文件
中
添加内容
bash
、
unix
、
hidden-files
我试图将一个filename:filesfullpath添加到一个隐藏
文件
中
,所以每当用户运行脚本并调用一个
文件
时,
文件
和完整
的
文件
路径就会被添加到隐藏
文件
中
,如下所示:
flink
=$(readli
浏览 5
提问于2016-03-17
得票数 1
回答已采纳
1
回答
Azure数据工厂-读取JSON数组并写入各个CSV
文件
azure
、
csv
、
azure-blob-storage
、
azure-data-factory
我有许多JSON
文件
位于我
的
数据湖
中
,它们
的
格式都相同,如下所示: { "AzureFolderName":,使用这些项
中
的
信息以格式附加到数据湖
中
的
CSV
文件
(如果它们不存在,则创建它们):[Timestamp],[I
浏览 0
提问于2021-08-26
得票数 0
2
回答
关于
flink
流接收器到hdfs
hdfs
、
apache-flink
、
flink-streaming
我正在编写一个
flink
代码,在该代码
中
,我从本地系统读取一个
文件
并使用"writeUsingOutputFormat“将其写入数据库。你能帮我一下吗?注意: hdfs已在我
的
本地机器上启动并运行。
浏览 1
提问于2019-01-07
得票数 1
回答已采纳
2
回答
如何处理(Apache )高IO瓶颈?
apache-spark
、
apache-flink
、
google-cloud-dataflow
、
apache-beam
、
dataflow
让我们举一个简单
的
例子,我有一个非常简单
的
波束管道,它只是从一个
文件
中
读取数据并将数据转储到一个输出
文件
中
。现在,让我们考虑输入
文件
是巨大
的
(一些GB
的
大小,您通常无法在文本编辑器
中
打开
的
文件
类型)。由于直接运行程序实现非常简单(它将整个输入集读入内存),它将无法读取和输出这些大型
文件
(除非您为java vm进程分配了不太实际
的
大量内存);因此,
浏览 2
提问于2021-07-01
得票数 0
回答已采纳
1
回答
数据工厂
数据流
接收器
文件名
azure
、
azure-data-factory-2
、
azure-data-flow
我有一个
数据流
,它将多个以管道分隔
的
文件
合并为一个
文件
,并将其存储在Azure Blob Container
中
。我使用
文件
模式作为输出
文件名
连接(‘myFile’+ toString(currentDate('PST')),'.txt')。 如何抓取
数据流
完成后生成
的
文件名
?我还有其他活动可以将
文件名
记录到数据库
中
,但不知道如何
获取<
浏览 13
提问于2021-02-19
得票数 1
回答已采纳
1
回答
在加载到Bigquery之前自动ETL数据
google-bigquery
、
google-cloud-functions
、
google-cloud-storage
、
google-cloud-dataflow
我将CSV
文件
添加到GCS存储桶
中
,每天或每周,每个
文件名
都包含(日期+特定参数)我们尝试了云函数(我们可以从
文件名
中
<e
浏览 0
提问于2020-12-15
得票数 0
1
回答
java用于向tensorflow模型提供tf记录字节
tensorflow
、
tensorflow-serving
、
tensor
、
tensorflow-datasets
、
tensorflow-estimator
如果在java
中
存在用于直接读取to记录并向tensorflow savedModel提供数据
的
高级api,是否有人知道。我在java中看到
的
唯一api是创建原始张量,有一种类似于python
的
方法,可以直接将tfrecords (example.proto_ )提供给java中保存
的
模型包。
浏览 0
提问于2018-04-18
得票数 1
回答已采纳
2
回答
Azure Data 2:如何将
文件
拆分为多个输出
文件
azure-data-factory-2
、
azure-blob-storage
我正在使用Azure数据工厂,并正在寻找“查找”活动
的
补充。基本上,我希望能够将一行写到
文件
中
。下面是设置: 使用查找activityConnect从blob存储
中
的
CSV
文件
中
读取
的
--其输出到每个中
的
,
获取
每条记录(由查找活动读取
的
文件
中
的
一行),并将其写入一个独立
的
文件
,名为dynamically
浏览 1
提问于2020-04-16
得票数 2
2
回答
pyarrow.lib.ArrowIOError:无效
的
拼图
文件
大小为0字节
python
、
boto3
、
pyarrow
我正在尝试执行类似的操作,将S3存储桶
中
的
文件
列表读取到pyarrow表
中
。如果我指定了
文件名
,我可以这样做:import s3fs filesystem=s3fs.S3FileSystem(),一切都像预期<em
浏览 1
提问于2019-10-31
得票数 2
1
回答
Azure Data Factory:输入数据集
文件
夹名称
中
的
输出数据集
文件名
azure
、
azure-data-factory
、
azure-data-factory-2
我正在尝试解决Azure数据工厂
中
的
以下场景: 我在Azure Blob存储中有大量
文件
夹。每个
文件
夹包含不同数量
的
拼图
格式
的
文件
。
文件
夹名称包含
文件
夹
中
包含
的
数据
的
生成日期,类似于: DATE=2021-01-01。我需要过滤这些
文件
,并以分隔格式将它们保存到另一个容器
中
,每个
文件
的
浏览 0
提问于2021-02-24
得票数 0
1
回答
Flink
savepoint与本地执行环境(
如
独立应用程序)
apache-flink
、
flink-streaming
、
flink-sql
、
flink-batch
如何使用独立应用程序(本地执行环境或迷你集群)实现
flink
保存点。我在
flink
-config.yaml
文件
中
配置了savepoint目录,但不确定如
何在
关闭应用程序之前
获取
保存点,以及如
何在
重新启动应用程序后恢复?是否有任何方法或必须先使用
flink
群集,然后再使用CLI。 感谢你
的
帮助。谢谢
浏览 0
提问于2020-08-18
得票数 0
1
回答
SSIS复制
文件
任务
sql-server-2008
我在一个表中有一个
文件
路径列表。我需要读取这些
文件
路径,将这些
文件
复制到另一台服务器上
的
驱动器,而不更改目录结构。这是可能
的
吗?
浏览 0
提问于2013-09-12
得票数 0
2
回答
获取
添加到
文件
夹
中
的
最后一项
的
URL
python
、
google-drive-api
所以我有一个脚本,它把一个
文件
上传到一个特定
的
文件
夹。我想得到那个
文件
夹中最近上传
的
项目的URL吗?我将如何以一种简单
的
方式来完成这一任务。例如,假设我有一个名为"Photos“
的
文件
夹,我希望检索上传到该
文件
夹
的
最新项目,并将其显示在某个地方。我怎么才能得到那个网址?您可以假设"Photos“是一个共享
文件
夹。
浏览 3
提问于2016-04-03
得票数 0
回答已采纳
2
回答
Flink
DataStream[String] kafkaconsumer转换为Avro for Sink
apache-flink
、
flink-streaming
DataStreamString转换成DataStreamGenericRecord以便我可以编写DataStreamString
文件
?将字符串流转换为一般
数据流
时出现异常。:406)在mapper
中
初始化架构后,获得强制转换异常。AppendWriteException: java.lang.ClassCastException: scala.Tuple2 cannot be cast to java.util.Map 下面是屏幕
中
的
模式和现在它
如
预期<
浏览 16
提问于2020-07-24
得票数 0
1
回答
SSIS -从
文件名
获取
子字符串并插入数据库表
.net
、
sql-server
、
database
、
ssis
我在一个目录中有几个
文件
。
文件名
约定是yob + year + .txt我
的
要求:
获取
每个
文件名
浏览 1
提问于2013-09-16
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从Storm到Flink:大数据处理的开源系统及编程模型
Flink 从0到1实战实时风控系统|同步追更
Flink 支持哪些数据源和数据接收器?
Windows flink开发环境构建-新手
官宣:Apache Flink 1.14.0 发布
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券