我已经通过一个弹性MapReduce交互式会话创建了一个配置单元表,并使用CSV文件填充它,如下所示:
CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';
LOAD DATA LOCAL INPATH '/home/hadoop/file.csv' OVERWRITE INTO TABLE csvimport;
现在,我希望将配置单元表存储在S3存储桶中,以便在终止MapReduce实例后保留该表。
我刚接触过Amazon服务,我试图在亚马逊弹性地图上运行作业流,使用命令行接口工具减少作业。
我遵循了指南的步骤,这个aws.But开发人员指南对我来说还不清楚。
如果我执行命令./弹性-mapreduce- list 来列出作业流。显示以下错误。
/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:23: warning: else without rescue is useless
/usr/local/rbenv/versions/1.9.3-p194/lib/rub
我已经为这事挣扎了两个小时了!
我在python中创建了一个mapper脚本,它在其他python脚本中导入了我的一个自定义函数。
#!/usr/bin/env python
import sys
import testImport
for line in sys.stdin:
if line and line!='':
words = line.strip().lower().split('\t')
print '%s\t%s' % (words