首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >避免在pig输出文件中使用多个标头

避免在pig输出文件中使用多个标头
EN

Stack Overflow用户
提问于 2016-01-15 20:06:09
回答 1查看 141关注 0票数 0

我们使用Pig从包含数千个文件的目录中加载文件,对它们进行转换,然后输出合并了输入的文件。

我们已经注意到,输出文件包含每个处理的文件的头记录,即头在每个文件中出现多次。

有没有办法让每个输出文件只有一次头文件?

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
raw_data = LOAD '$INPUT' 
   USING org.apache.pig.piggybank.storage.CSVExcelStorage(',')

做一些转换

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
STORE data INTO '$OUTPUT' 
USING  org.apache.pig.piggybank.storage.CSVExcelStorage('|')
EN

回答 1

Stack Overflow用户

发布于 2016-01-18 11:56:36

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34819012

复制
相关文章

相似问题

在Pig中处理tar标头

11

在多个R输出文件中写入标头

10

避免在.h文件中包含标头

50

在输出文件中写入elf标头

11

希望避免在单击标头时执行多个操作

11
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文