spring-data-mongodb mapreduce使用

猿天地

发布于 2018-04-03 12:34:58

2.3K0

发布于 2018-04-03 12:34:58

文章被收录于专栏：猿天地猿天地

今天主要介绍下在框架中如何使用mapreduce，不涉及到mapreduce的使用讲解

这边主要的js代码都将写在js文件中，放在classpath下面统一维护，修改起来也比较方便，如果直接用字符串拼接的方式在代码中，难看又难维护。

就算不用框架，就用驱动操作mapreduce时，自己也可以将js代码写在xml中，跟mybatis一样，然后写个工具类去读取即可。

MapReduceOptions options = MapReduceOptions.options();
options.outputCollection("Article_MapReduce");
options.outputTypeReduce();
options.finalizeFunction("classpath:finalize.js");
MapReduceResults<ValueObject> reduceResults = 
mongoTemplate.mapReduce("article_info",  
    "classpath:map.js",  
    "classpath:reduce.js", 
    options, 
    ValueObject.class);
reduceResults.forEach(System.out::println);

outputCollection是指将结果输出某个集合中

finalizeFunction是对应的finalize的js函数代码

mapReduce有多个重载方法，下面可以看到有不同的参数，有可以指定输入集合名称的，也有直接传Query的，用Query意味着可以处理符合条件的一些数据，如果不指定Query,那么将处理集合中的所有数据。

mongoTemplate.mapReduce(inputCollectionName, mapFunction, reduceFunction, entityClass)

mongoTemplate.mapReduce(query, inputCollectionName, mapFunction, reduceFunction, entityClass)

mongoTemplate.mapReduce(inputCollectionName, mapFunction, reduceFunction, mapReduceOptions, entityClass)

mongoTemplate.mapReduce(query, inputCollectionName, mapFunction, reduceFunction, mapReduceOptions, entityClass)

前面说到对应的js代码我们是写在文件中，然后调用的时候传这个文件的名称，框架自己回去加载对应的js代码，我们从源码中可以看到有读取js代码的方法。

public <T> MapReduceResults<T> mapReduce(
      Query query, String inputCollectionName, String mapFunction,
      String reduceFunction, MapReduceOptions mapReduceOptions,
      Class<T> entityClass) {

 String mapFunc = replaceWithResourceIfNecessary(mapFunction);
 String reduceFunc = replaceWithResourceIfNecessary(reduceFunction);

protected String replaceWithResourceIfNecessary(String function) {

   String func = function;

   if (this.resourceLoader != null && ResourceUtils.isUrl(function)) {

         Resource functionResource = resourceLoader.getResource(func);

         if (!functionResource.exists()) {
                throw new InvalidDataAccessApiUsageException(
                String.format("Resource %s not found!", function));
          }

          Scanner scanner = null;

          try {
                scanner = new Scanner(functionResource.getInputStream());
                return scanner.useDelimiter("\\A").next();
          } catch (IOException e) {
                throw new InvalidDataAccessApiUsageException(
                String.format("Cannot read map-reduce file %s!",
                 function), e);
          } finally {
                if (scanner != null) {
                    scanner.close();
                }
          }
      }

      return func;
}

下面贴出今天测试的js代码，按文章的作者统计文章的次数

map.js

function() {
    emit(this.author,1);
}

reduce.js

function(key,values) {
    var sum = 0;
    for (var i = 0; i < values.length; i++)
        sum += values[i];
    return sum;
}

finalize.js

function(key,reduce) {
    return reduce;
}

finalize中没有去格式化输出的格式，所以输出的格式是原始的格式

{ "_id" : "文章作者", "value" : 文章次数 }

上面的调用代码中虽然指定了输出结果的集合名称，但还是定义了ValueObject来接收返回值，那么ValueObject的格式肯定也是id和value。

public class ValueObject {
    private String id;
    private Integer value;

    public String getId() {
        return id;
    }
    public void setId(String id) {
        this.id = id;
    }
    public Integer getValue() {
        return value;
    }
    public void setValue(Integer value) {
        this.value = value;
    }
    @Override
    public String toString() {
       return "ValueObject 
       [id=" + id + ", value=" + value + "]";
    }
}

在库中查询的原始数据格式如下

> db.Article_MapReduce.find();
{ "_id" : "jason", "value" : 1 }
{ "_id" : "mk", "value" : 1 }
{ "_id" : "yinjihuan", "value" : 18 }
>

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2016-09-29，如有侵权请联系 cloudcommunity@tencent.com 删除

spring

mongodb

本文分享自猿天地微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

spring

mongodb

登录后参与评论

0 条评论

热度