开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在python中从HDFS序列文件加载数据

问如何在python中从HDFS序列文件加载数据
EN

Stack Overflow用户

提问于 2015-11-13 01:43:54

回答 1查看 7.8K关注 0票数 1

我运行了一个map reduce程序来读取HDFS文件，如下所示：

hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-dev-streaming.jar -Dmapred.reduce.tasks=1000  -file $homedir/mapper.py -mapper $homedir/mapper.py -file $homedir/reducer.py -reducer $homedir/reducer.py   -input /user/data/* -output /output/ 2> output.text

需要确认的是，路径/user/data/*有包含文件的文件夹，/user/data/*将迭代所有子文件夹下的所有文件，对吗？

hdfs文本文件的每一行都包含一个JSON字符串，因此映射器按如下方式读取该文件：

for line in sys.stdin:
    try:
        object = json.loads(line)

但HDFS的所有者将文件从文本更改为序列文件。我发现map reduce程序输出了许多零大小的文件，这可能意味着它没有成功地从HDFS读取文件。

我应该对代码进行哪些更改才能从序列文件中读取？我还有一个配置单元外部表，用于根据mapreduce的输出执行聚合和排序，并且该配置单元以前存储为TEXTFILE，我是否应该更改为存储为SEQUENCEFILE？

谢谢,

EN

回答 1

Stack Overflow用户

发布于 2015-11-13 01:58:18

看一看this

在执行mapreduce作业之前，在python文件下运行

输入:您的序列文件

输出:您对mapreduce的输入

import sys

from hadoop.io import SequenceFile

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print 'usage: SequenceFileReader <filename> <output>'
    else:
        reader = SequenceFile.Reader(sys.argv[1])

    key_class = reader.getKeyClass()
    value_class = reader.getValueClass()

    key = key_class()
    value = value_class()

    #reader.sync(4042)
    position = reader.getPosition()
    f = open(sys.argv[2],'w')
    while reader.next(key, value):
        f.write(value.toString()+'\n')
    reader.close()
    f.close()

现在你不需要修改你原来的python文件了。

票数 4

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/33684625

复制

相关文章

python dropwhile跳过开头的几行

from itertools import dropwhile with open('/etc/passwd') as f: ... for line in dropwhile(lambda line: line.startswith('#'), f): ... print(line, end='') from itertools import islice items = ['a', 'b', 'c', 1, 4, 10, 15] for x in

用户5760343

2019/09/30

1.7K0

pythoncharm注释快捷键_多行注释以什么开头

https java 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/174489.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/27

1.6K0

pythoncharm注释快捷键_多行注释以什么开头

为什么浏览器的用户代理字符串以 Mozilla 开头?

windows 网站 windows server

为什么浏览器的用户代理字符串（user-agent string）以 Mozilla 开头？最早流行的浏览器是 NCSA Mosaic，它称自己为 NCSA_Mosaic/2.0 (Windows

前端教程

2018/03/29

1.4K0

为什么浏览器的用户代理字符串以 Mozilla 开头?

在文件每一行开头增加字符串

首先，使用vim 打开某txt文件，输入冒号，并输入%s/^/，之后输入要添加的字符串即可

DoubleV

2022/03/25

1.1K0

python字符串匹配开头_对python 匹配字符串开头和结尾的方法详解

http php python https 网络安全

1、你需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme 等等。检查字符串开头或结尾的一个简单方法是使用str.startswith() 或者是str.endswith()方法。比如：

全栈程序员站长

2022/09/13

2.8K0

原理分析：使用 dd 跳过开头若干字节快速拷贝文件

block cat count size txt

　　计算机中每一次向硬盘读取和写入数据，无论读多小的数据量，都至少需要花一段常数时间（称为overhead）。（就像你去超市买鸡蛋一样，无论你一次只买一个，还是一千个，你都至少要花从家走到超市，再从超市走回家的时间。）

Miigon

2022/10/27

1.2K0

ES6字符串模板多行清除行头空格制表符

编程算法 ecmascript 正则表达式

对于多行文本我肯定优先考虑用 ES6字符串模板来实现，直接使用的效果并不是很符合想要的。

CRPER

2019/11/29

1K0

php用空格分隔字符串,分割字符串空格[通俗易懂]

javascript 腾讯云开发者社区 python java

String[] data = s.split(“@”); // 以@分割字符串，获得@后的值。

全栈程序员站长

2022/11/16

6.3K0

Java 多行字符串

java 编程算法 jdk ide

在本文中，我们来说说 Java 的多行字符串（multiline strings ）。

HoneyMoose

2022/08/08

4.2K0

python 字符串开头结尾匹配

http php python

filename = 'spam.txt' filename.endswith('.txt') True filename.startswith('file:') False url = 'http://www.python.org' url.startswith('http:') True 或者正则 import re url = 'http://www.python.org' re.match('http:|https:|ftp:', url) <_sre.SRE_Mat

用户5760343

2022/01/10

1.7K0

php删除字符串的空格

https java 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/105882.html原文链接：https://javaforall.cn

全栈程序员站长

2022/08/09

3.6K0

字符串：替换空格

c++https github 网络安全 git

示例 1：输入：s = "We are happy." 输出："We%20are%20happy."

代码随想录

2020/09/10

4.6K0

带空格的字符串反转

就是输入一段文本，然后让你实现字符串反转。肺炎严重，假期延长，闲的不得不自主学习，然后就日常刷水题。第一次的方法，简单易懂，就是时间超限了。TLIM #include<bits/stdc++.h> using namespace std; stack<string> st; int main(){ string s; cin>>s; reverse(s.begin(),s.end()); st.push(s); while(getchar() != '\n'){ cin>>s; re

杨鹏伟

2020/09/11

1.3K0

JS去除字符串的空格

JS去除字符串前后空格 //去前后空格 //var LO = data.replace(/(^\s*)|(\s*$)/g, ""); //var LA = data.replace(/(^\s*)|(\s*$)/g, ""); JS去除字符串所有空格 //直接去除所有的空格 var LL = data.replace(/\s+/g,""); 在Kettle做数据清洗中用到的： //Script here //去前后空格 //var LO = LONGITUDE.replace(/(^\s*)|(\s*

手撕代码八百里

2020/07/28

8K0

python 匹配字符串开头和结尾

https java 网络安全编程算法

1.你需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme 等等。检查字符串开头或结尾的一个简单方法是使用str.startswith() 或者是str.endswith()方法。比如：

全栈程序员站长

2022/09/16

1.3K0

算法-字符串替换空格

chaibubble

2018/01/02

2.4K0

android空格字符串_v1d空格复制

java https 网络安全

  ==   ==   == no-break space （普通的英文半角空格但不换行）

全栈程序员站长

2022/09/30

8240

关于字符串切割空格

注意: 不要在split方法中写" ", 这样只能匹配到一个空格 String s = "hello world you"; String[] split = s.split("\\s+"); for (String s1 : split) { System.out.println(s1); }

乐心湖

2020/07/31

1.1K0

python 字符串去空格

编程算法 python java https

1、lstrip：删除左边的空格这个字符串方法，会删除字符串s开始位置前的空格。

全栈程序员站长

2022/09/03

2.6K0

Python字符串开头或末尾匹配

当你需要通过指定的文本模式去检查字符串的开头或者结尾的时候，比如文件名后缀，URL Scheme等等。

后场技术

2020/09/03

1.8K0

相似问题

在多行开头添加空格

443

sscanf跳过开头的空格

10

匹配以空格开头的多行

12

删除多行字符串变量中每一行开头的空格。

55

字符串开头的跳过模式

22

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例