pig用法_animals

1.pig运行模式

本地模式： pig -x local

直接访问本地磁盘

集群模式： pig 或者 pig -x mapreduce

2.pig latin 交互

帮助信息 help

pig用法_animals

上传本地文件到hdfs中

pig用法_animals

查看内容 cat

pig用法_animals

加载数据

grunt> A = load '/pig/input/a.data' using PigStorage('\t');  --加载文件,并用冒号’\t‘将数据分离为多个字段
grunt> B = foreach A generate $0 as id; --将每一次迭代的第一个元祖数据作为id
grunt> dump B; 在命令行输出结果

pig用法_animals

执行成功，如下展示：

pig用法_animals

计算结果

pig用法_animals

3. 小试牛刀

1)、加载学生信息

student = load ‘/pig/input/student.data’ using PigStorage(‘,’) as (id:long,name:chararray,class:int,state:int);

2)过滤 符合条件的数据

filterStudent= filter student by state==1;

3）展示每个班的学生

groupStudentByClass= group student by class parallel 2;

dump groupStudentByClass;

pig用法_animals

4）统计每个班的人数

groupclass= foreach groupStudentByClass generate 0 as sid,COUNT(1) as total;

dump groupclass;

pig用法_animals

5）join

studentTeacher = join student by class,teacher by clazz;

dump studentTeacher;

pig用法_animals

参考资料：

https://www.ibm.com/developerworks/cn/linux/l-apachepigdataquery/

http://pig.apache.org/docs/r0.16.0/start.html

Apache Pig的一些基础概念及用法总结

<pig编程指南>

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/168014.html原文链接：https://javaforall.cn