Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计

DimensionConverter类作用&问题

DimensionConverter主要是对维度信息进行操作, 包括维度id的获取、维度信息的保存等操作,通过该接口提供的服务, 我们可以很方便的将操作维度表的方法进行模块化设计。 问题:当设计成为多个reducer的时候,每个reducer的输出是在不同的jvm中的, 所以就会有不同的实例对象进行操作维度表, 可能会导致数据库数据异常,针对这种情况, 故我们需要将DimensionConverter相关服务进行模块化设计。

解决方案

由于我们采用的是hadoop集群,故我们可以直接采用master-slave结构, 我们自定创建一个hadoop的rpc服务, 然后在各个需要进行该操作的reducer端创建该服务的远程代理对象, 通过这种方式将操作维度表的操作放到一个对象中去。

代码步骤

  1. master提供服务
  2. slave通过代理对象获取值
  3. 测试

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

【Golang语言社区】GO1.9 map并发安全测试

var m sync.Map //全局 func maintest() { // 第一个 YongHuomap := make(map[st...

4698
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

4828
来自专栏张善友的专栏

LINQ via C# 系列文章

LINQ via C# Recently I am giving a series of talk on LINQ. the name “LINQ via C...

2625
来自专栏张善友的专栏

Miguel de Icaza 细说 Mix 07大会上的Silverlight和DLR

Mono之父Miguel de Icaza 详细报道微软Mix 07大会上的Silverlight和DLR ,上面还谈到了Mono and Silverligh...

2697
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3095
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2506
来自专栏魂祭心

原 canvas绘制clock

4034
来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2537
来自专栏大内老A

The .NET of Tomorrow

Ed Charbeneau(http://developer.telerik.com/featured/the-net-of-tomorrow/) Exciti...

31010
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

2000

扫码关注云+社区