mapreduce主程序如何传递变量到map或者reduce函数中使用

    一般我们写的mapreduce主程序放在客户端机器上,执行任务时是在集群机器上,所以要将变量从主程序传递到我们自己写的map或者reduce函数中就不能使用全局变量,因为map和reduce函数的执行是在集群的内存中,而mapreduce主程序的执行是在客户端机器的内存中。可以使用以下方法解决:

    1 首先全局变量不可以使用,因为全局变量是在运行mapreduce主程序的机器内存当中,在集群的内存中是无法调用的。

    2 通过写入mapreduce文件方式,这样如果数据量比较大新增这么一个变量字段不是很合理。

    3 通过数据库方式传输。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏性能与架构

nginx rewrite

rewrite的作用 rewrite可以实现url的重定向,把用户请求的url转发到另一个url,但用户浏览器地址并不改变 例如常用的伪静态化,就是通过rewr...

3665
来自专栏lgp20151222

idea报错:Error running $classname: Command line is too long. Shorten command line for $classname.

打印的变量太长了,超过了限制,这都会报错...我只想知道idea基于什么原理会报这个错...

9773
来自专栏CaiRui

Python之简单的用户登录和注册

#!/bin/bash/env python # -*- coding:utf-8 -*- def login(username,password): ...

30710
来自专栏知识分享

(一)Lua脚本语言入门

今天开始自己的Lua语言学习,Lua脚本语言,是介于应用程序和开发其应用程序的底层编程语言之间,,它很方便调用其它语言,它只是在载入时对其进行编译,而不像我们写...

3807
来自专栏深度学习与计算机视觉

Python 新建文件夹与复制文件夹内所有内容

在指定路径下新建一个文件夹: import os def newfile(path): path=path.strip() path=path....

2246
来自专栏IT可乐

Linux系列教程(二十二)——Linux的bash变量

  上篇博客我们介绍了bash的一些基本功能,这是我们平时操作最频繁的。本篇博客我们介绍bash的变量,为后面编写shell脚本做铺垫。 1、什么是变量   变...

21310
来自专栏程序员的碎碎念

php常用函数(一)

parse_url:函数的作用是解析一个URL并返回一个包含其URL组件的关联数组,错误时返回false。例: ? 页面显示效果如下: ? ran...

3484
来自专栏DannyHoo的专栏

APNS推送原理

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/de...

2633
来自专栏瓜大三哥

matlab GUI基础3

低级文件I/O 1.文件读取 fopen:文件打开 fclose:文件关闭 fread:二进制数据的读取 fwrite:二进制文件写入 fgetl:逐行读取 f...

20810
来自专栏xingoo, 一个梦想做发明家的程序员

python项目实现配置统一管理的方法

一个比较大的项目总是会涉及到很多的参数,最好的方法就是在一个地方统一管理这些参数。最近看了不少的python项目,总结了两种很有意思的配置管理方法。

2321

扫码关注云+社区

领取腾讯云代金券