Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

DimensionConverter类作用&问题

DimensionConverter主要是对维度信息进行操作, 包括维度id的获取、维度信息的保存等操作,通过该接口提供的服务, 我们可以很方便的将操作维度表的方法进行模块化设计。 问题:当设计成为多个reducer的时候,每个reducer的输出是在不同的jvm中的, 所以就会有不同的实例对象进行操作维度表, 可能会导致数据库数据异常,针对这种情况, 故我们需要将DimensionConverter相关服务进行模块化设计。

解决方案

由于我们采用的是hadoop集群,故我们可以直接采用master-slave结构, 我们自定创建一个hadoop的rpc服务, 然后在各个需要进行该操作的reducer端创建该服务的远程代理对象, 通过这种方式将操作维度表的操作放到一个对象中去。

代码步骤

  1. master提供服务
  2. slave通过代理对象获取值
  3. 测试

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我的博客

PHP命令行模式

1.PHP运行指定文件 php my_script.php php -f my_script.php 2.命令行直接运行php代码 php -r ‘pri...

2994
来自专栏用户2442861的专栏

win64 IDEA meaven 配置安装Thrift自动生成代码到目录

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details...

3311
来自专栏debugeeker的专栏

《coredump问题原理探究》windows版第四章函数的逆向

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

771
来自专栏ppjun专栏

记录一个SQLException

我前端form-data上传图文到后台时,返回一个服务器内部异常SQLException: Incorrect string value: '\xE5\x92\...

1124
来自专栏Danny的专栏

iterm通过代理访问网络

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

641
来自专栏木子昭的博客

简要说明__python3中的进程/线程/协程

多任务可以充分利用系统资源,极大提升程序运行效率,多任务的实现往往与 多线程,多进程,多协程有关 稳定性: 进程 > 线程 > 协程 系统资源占用量:进程...

3428
来自专栏hotqin888的专栏

EngineerCMS增加项目日志、大事记的时间轴

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

1032
来自专栏hotqin888的专栏

HydromCMS增加封面、完善自定义目录功能、目录结构的修改功能

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

972
来自专栏Python入门

python爬虫使用scrapy框架爬取顶点小说网

scrapy框架 是一个非常好的东西,能够实现异步爬取,节省时间,其实本文纯粹的按照之前的思维来做,

1790
来自专栏Python小屋

使用Python分析最新2000封电子邮件的时间分布

程序功能:运行后要求输入126邮箱地址和密码,然后绘制柱状图显示最新2000封邮件的时间分布。

1082

扫码关注云+社区