专栏首页备份MapReduce工作笔记——Streaming多路输出

MapReduce工作笔记——Streaming多路输出

多路输出

加入如下命令:

-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat \   
-jobconf suffix.multiple.outputformat.filesuffix=file_path_1,file_path_2  \             
-jobconf suffix.multiple.outputformat.separator="#" \                        
  1. 指定outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat
  2. 指定输出文件名的前缀,所有需要输出的文件名必须通过该参数配置,否则job会失败
  3. 设置value与文件名的分割符,默认为“#”,如果value本身含有“#”,框架会自动匹配至最后一个分隔符,用户亦可通过该参数重新设置其他的分隔符。

注:

  1. 上面三个是必须参数,否则会报错
  2. 当value为空时要在key值与"suffix.multiple.outputformat.separator"之间补充一个\t分隔符
  3. 输出不能有空行
  4. key和value值中不能有换行符

实现

只要在 map reduce脚本中print字符串中加上#file_path 比如要将aaa写入file_path_1bbb 写入file_path_2 使用Python如下: 使用#进行分割

if line == "aaa":
	print line + "#file_path_1"
elif line == "bbb":
	print line + "#file_path_2"

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据结构算法操作试题(C++/Python)——合并K个排序链表

    leetcode 链接:https://leetcode-cn.com/problems/merge-k-sorted-lists/submissions/

    莫斯
  • Julia机器学习实战——使用Random Forest随机森林进行字符图像识别

    莫斯
  • 数据结构算法操作试题(C++/Python)—— 组合总和

    数据结构算法操作试题(C++/Python):数据结构算法操作试题(C++/Python)——目录

    莫斯
  • Python爬取图片+百度人脸检测过滤高颜值美女

    pexels网站提供了大量贴图,从中搜索美女图片,编写爬虫进行下载,下载后图片中除了女人外,还包含男人,风景、静物和动物,调用百度人脸检测模块识别检测,将其中颜...

    python学习教程
  • python文件操作

    要用python操作文件,首先就是要获取要操作文件的路径,获取路径常见的函数为dirname、path、getcwd,首先就来介绍这几个函数的不同之处

    听城
  • Python 基于Python实现批量创建目录

    path = os.path.normpath(path) # 去掉路径最右侧的 \\ 、/

    授客
  • Deep Photo Styletransfer的一种纯Tensorflow实现,教你如何转换图片风格

    通过深度学习,一秒钟让你的照片高大上,这是康奈尔大学和 Adobe 的工程师合作的一个新项目,通过卷积神经网络把图片进行风格迁移。项目已开源,名字叫「Deep ...

    AiTechYun
  • Android实现倾斜角标样式

    (PS:不要注意那两毛三分的穷鬼),刚开始想着用UI切图就可以了嘛,but是不可以的,在不同手机上分辨率是不同的,直接用图片适配肯定会有问题,所以打算自定义。

    砸漏
  • Sublime Text3的C语言开发环境配置

    传送门:https://osdn.net/projects/mingw/releases/

    bering
  • NiftyNet 数据预处理

    使用NiftyNet时,我们需要先将图像数据和标签进行一次简单的处理,得到对应的.csv文件。 对应文件格式为: img.csv

    范中豪

扫码关注云+社区

领取腾讯云代金券