Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

DimensionConverter类作用&问题

DimensionConverter主要是对维度信息进行操作, 包括维度id的获取、维度信息的保存等操作,通过该接口提供的服务, 我们可以很方便的将操作维度表的方法进行模块化设计。 问题:当设计成为多个reducer的时候,每个reducer的输出是在不同的jvm中的, 所以就会有不同的实例对象进行操作维度表, 可能会导致数据库数据异常,针对这种情况, 故我们需要将DimensionConverter相关服务进行模块化设计。

解决方案

由于我们采用的是hadoop集群,故我们可以直接采用master-slave结构, 我们自定创建一个hadoop的rpc服务, 然后在各个需要进行该操作的reducer端创建该服务的远程代理对象, 通过这种方式将操作维度表的操作放到一个对象中去。

代码步骤

  1. master提供服务
  2. slave通过代理对象获取值
  3. 测试

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ml

PIL中的Image和numpy中的数组array相互转换

1. PIL image转换成array img = np.asarray(image) 需要注意的是,如果出现read-only错误,并不是转换的错...

3979
来自专栏C/C++基础

Linux下Socket网络编程send和recv使用注意事项

ssize_t send( SOCKET s, const char *buf, size_t len, int flags );

1623
来自专栏hotqin888的专栏

EngineerCMS增加项目日志、大事记的时间轴

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

1372
来自专栏Python小屋

使用Python分析最新2000封电子邮件的时间分布

程序功能:运行后要求输入126邮箱地址和密码,然后绘制柱状图显示最新2000封邮件的时间分布。

1232
来自专栏用户2442861的专栏

win64 IDEA meaven 配置安装Thrift自动生成代码到目录

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details...

5661
来自专栏Danny的专栏

iterm通过代理访问网络

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

741
来自专栏debugeeker的专栏

《coredump问题原理探究》windows版第四章函数的逆向

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

951
来自专栏Petrichor的专栏

Tensorflow源码 目录树

很多博客中提到的 models/(位于根目录下,该目录下存放这多个使用python实现的模型实例),我并没有看到。估计是最新版的Tensorflow源码取消了这...

3201
来自专栏Ryan Miao

在idea中maven项目jdk编译version总是跳到1.5

bug描述 项目ide: idea 项目构建工具:maven bug现象:每次修改pom之后,idea自动扫描一遍,然后发现默认的compile级别跳到5....

36310
来自专栏CreateAMind

ls-gan bedroom数据集 pretrain model 和代码

pretrain model 和代码 https://pan.baidu.com/s/1dFbzjlZ pretrain 下载

1122

扫码关注云+社区

领取腾讯云代金券