使用Hadoop流管理依赖项？
使用Hadoop流管理依赖项？
提问于 2010-05-19 09:46:32
我有一个简单的Hadoop流媒体问题。如果我正在使用Python流，并且我的映射器/缩减程序需要Python包，但默认情况下没有安装，我是否需要在所有Hadoop机器上也安装这些包，或者是否有某种序列化将它们发送到远程机器？
Stack Overflow用户
回答已采纳
发布于 2010-05-20 06:44:17
如果它们未安装在任务框中，则可以随-file一起发送。如果您需要一个包或其他目录结构，您可以发送一个zipfile，它将为您解压缩。下面是一个Haddop 0.17调用：
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.17.0-streaming.jar -mapper mapper.py -reducer reducer.py -input input/foo -output output -file /tmp/foo.py -file /tmp/lib.zip但是，请参阅此问题以获得警告：
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/2862345
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号