腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(712)
视频
沙龙
1
回答
利用
NiFi
将
CSV数据摄取到蜂巢
中
hadoop
、
hive
、
apache-nifi
、
avro
、
orc
我正在尝试
将
csv数据摄取到
Hive
数据库
中
。,listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS现在,我想用putHiveQL
处理器
进行测试。兽人的数据不能直接加
载到</
浏览 1
提问于2019-05-16
得票数 1
1
回答
如何
使用
nifi
hive
流
处理器
将
orcdata
加
载到
hive
中
?
hive
、
apache-nifi
、
orc
我有orc文件和他们的模式我已经尝试在本地配置单元中加载此orc文件,它工作正常,现在我
将
生成多个orc文件,并需要
使用
nifi
put
hive
streamming将此orc文件加
载到
hive
表
中
浏览 27
提问于2019-06-18
得票数 2
回答已采纳
1
回答
NiFi
的PutHiveStreaming
处理器
不会从
hive
-site.xml中提取属性。
properties
、
hive
、
apache-nifi
我想
使用
NiFi
将
数据插入到一个单元表
中
。 org.apache.hadoop.
hive
.ql.lockmgr.DbTxnManager/conf目录
中
的
hive
-site.xml<e
浏览 2
提问于2018-05-15
得票数 0
1
回答
基于文件结构的蜂箱表创建
hadoop
、
hive
我有一个疑问,在蜂箱
中
是否有任何方法在装载期间创建表到蜂窝仓库或外部表。因此,简而言之,
如何
在不知道HDFS的架构结构的情况下
将
文件从HDFS加
载到
HIVE
Table。谢谢
浏览 1
提问于2018-07-07
得票数 2
回答已采纳
1
回答
从
流
文件内容中提取多行内容
apache-nifi
、
hortonworks-data-platform
、
hortonworks-dataflow
我从MySQL表中导入数据(仅针对选定的列),并将其放入HDFS
中
。一旦完成,我想要在
Hive
中
创建一个表。类似于下面示例
中
我
使用
grep所做的事情。我和FetchFile一起
使用
ExtractText,但无法使它工作。如果我
将
整个模式放入属性
中
,那么
如何
使用
NiFi
处理器
甚至表达式语言来实现这一点呢? 还是有更好的方法在导入的数据上创建表?
浏览 0
提问于2018-09-23
得票数 2
回答已采纳
1
回答
如何
使用
apache
nifi
将
多个json文件加
载到
具有正确映射的多个
hive
表
中
?
hadoop
、
hive
、
bigdata
、
apache-nifi
我需要
使用
apache
nifi
将
基于表名的多个csv文件摄取到它们各自的配置单元表
中
。源json文件
中
的table_address数据应该转到配置单元
中
的table_address,其他表也是如此。简而言之,需要将源json文件
中
的记录分离到多个tablename.csv格式的csv文件
中
,并将其加
载到
各自的
hive
表
中
。我
使用
的
处理器
消耗kafka ->
浏览 6
提问于2019-04-10
得票数 0
1
回答
用于
Hive
插入查询的ConvertJsonToSQL
hive
、
insert
、
hiveql
、
apache-nifi
、
hive-query
我想把Json插入到
hive
数据库。 我尝试
使用
ConvertJsonToSQL Ni
处理器
将
Json转换为SQL。
如何
在查询中
使用
PARTITION (....)部件??我可以这样做,或者我应该
使用
ReplaceText
处理器
进行查询吗?
浏览 1
提问于2020-05-14
得票数 0
回答已采纳
2
回答
Nifi
-
如何
将
数据放入
Hive
数据库?
hive
、
apache-nifi
我正在构建一个
Nifi
流
,以便从kafka
中
获取json元素,并将它们写到Have表
中
。不过,我绝对不知道该
如何
做。文档没有帮助,也没有
处理器
使用
的精确例子(或者我找不到)。
如何
提取json数据,构建
浏览 2
提问于2019-12-17
得票数 0
回答已采纳
1
回答
如何
使用
CURL
将
.csv文件从本地计算机(Getfile)发送到Apache
Nifi
中
的配置单元(Puthiveql)?
mysql
、
curl
、
apache-nifi
我想
使用
CURL.Please
将
.csv文件或mysql表从本地计算机(GetFile)发送到Apache
Nifi
中
的
Hive
(PutHiveql),让我知道是否有
使用
Curl执行此操作的命令。
浏览 0
提问于2017-06-28
得票数 0
1
回答
只有当hdfs中有文件时,才能执行命令?
database
、
hadoop
、
hive
、
hdfs
、
apache-nifi
我和
NiFi
和
Hive
一起在安巴里的一个HDP网箱里工作。我有一个
NiFi
流
,我
将
修改后的文件上传到hdfs,然后
使用
generateflowfile
将
查询load data inpath 'hdfs/path/' into table tablename传递给puthiveql
处理器
。
浏览 0
提问于2019-07-25
得票数 1
回答已采纳
2
回答
Apache 1.7.1 PutHive3Streaming
Hive
3.0 -托管表压缩
hive
、
apache-nifi
我
使用
PutHive3Streaming
将
avro数据从
Nifi
加
载到
Hive
。对于一个示例,我
将
向
Nifi
发送10 MB数据Json数据,将其转换为Avro (
将
大小缩小到118 KB),并
使用
PutHive3Streaming将其写入托管蜂窝表。hdfs dfs -du -h -s /user/
hive
/warehouse/my_table* 32.1 M /u
浏览 0
提问于2018-10-24
得票数 0
回答已采纳
2
回答
Apache执行进程
处理器
apache-nifi
我正在尝试
使用
Apache实现以下工作
流
: Apache
中
的ExecuteProcess
处理器
是否接收传入的
流
文件?我无法为ExecuteProcess
处理器
提供任何不可中断
浏览 4
提问于2016-06-06
得票数 6
2
回答
Nifi
中
的PutHiveStreaming
处理器
抛NPE
hive
、
apache-nifi
我正在调试一个HiveProcessor,它遵循官方的PutHiveStreaming
处理器
,但是它写到
Hive
2.x,而不是3.x。该流在
Nifi
集群1.7.1
中
运行。<init>(StrictJsonWriter.java:60) at org.apache.
nifi
.u
浏览 0
提问于2019-01-25
得票数 0
回答已采纳
2
回答
如何
在Kylo中将
Hive
数据库改为Oracle数据库作为主数据库?
kylo
我需要Oracle数据库,而不是kylo平台上的
hive
数据库。
浏览 4
提问于2017-11-16
得票数 0
回答已采纳
1
回答
如何
通过
Nifi
或sqoop使RDBMS与
Hive
保持同步,而不是创建新的记录
hadoop
、
hive
、
hiveql
、
apache-nifi
、
rdbms
我
使用
Nifi
读取RDBMS表
中
的数据,并将其作为外部表推送到单元表
中
。 发布:假设RDBMS中有一个表= Employee,其中有10条记录。我在
Nifi
中
运行了一个
处理器
,它经常读取我的Employee表,根据"lastModifiedTimeStamp“列获取新更新的记录。现在假设
Hive
和Rdbms表是同步的,它们都有10条记录,现在我在RDBMS
中
更新1行,现在
Nifi
将
读取这个
浏览 1
提问于2022-07-13
得票数 0
回答已采纳
1
回答
如何
在
NIFI
QueryDataBaseTable
处理器
中提取数据进行排序
apache-nifi
如何
保证
NiFi
QueryDataBaseTable
处理器
每次获取增量表时的数据序列。该表有一个名为"SEQNUM“的增量字段。并在QueryDataBaseTable
处理器
中
通过"SEQNUM“设置”最大值列“。有什么方法可以通过获取delta表来排序吗?
浏览 0
提问于2018-12-18
得票数 0
回答已采纳
1
回答
NiFi
- SelectHiveQL能以拼板格式从CDH集群上的表
中
读取数据吗?
apache-nifi
、
parquet
、
cloudera-cdh
我正在考虑在AWS
NiFi
实例上设置EC2,以便
将
数据从内部集群移动到AWS s3存储。或 我唯一的选择是直接从hdfs目录读取数据并将其放在s3上,然后在EMR
中
创建
hive
表?Question#2:
Nifi
如何
确定插入到表
中
的新数据并读取新数据。在我的示例
中
,所有表都由yyyymm分区。
浏览 0
提问于2018-10-24
得票数 0
回答已采纳
1
回答
Apache
Nifi
: PutHiveStreaming未连接
java
、
hive
、
apache-nifi
我有一个简单的流程
流
,它遵循以下示例:
流
文件经历了整个过程,但随后无法写入
处理器
"Stream CSV to
Hive
“
中
的
Hive
DB。(HiveWriter.java:264) at org.apache.
nifi
.util.
hive
.HiveWriter.
Hive
与
Nifi
运行在同一台计算机上,并且在/etc/hosts中有一个条目将其命名
浏览 68
提问于2018-03-03
得票数 1
1
回答
Apache
NIFI
忽略SelectHiveQL
中
的serialization.null.format
hive
、
apache-nifi
我正在尝试
使用
Apache
NIFI
中
的SelectHiveQL
处理器
执行select操作。输出格式应为'CSV‘。select name, surname, birth_place from personsperson_1,surname_1,NULL 而我得到的
浏览 0
提问于2021-05-12
得票数 0
1
回答
如何
使用
Apache从MySql导入数据到
Hive
?
apache-nifi
我试图
使用
MySql和PutHiveQl
处理器
将
数据从QueryDatabaseTable导入到
Hive
,但是会发生错误。 在哪里可以找到MySql到
Hive
进程的模板?
浏览 2
提问于2016-07-15
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据技术分享:十大开源的大数据技术
从入门到精通-Fayson带你玩转CDH
Apache NiFi用户指南-数据流的命令和控制
Flink1.11+Hive批流一体数仓
0458-Hive数据类型校验问题分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券