想搞大数据??你这样是自寻死路!!

近日来,家住北京市朝阳区的程序员诸葛建国非常郁闷。因为他的公司审时度势,附庸风雅牵强附会的上了一套大数据系统,可谓麻雀虽小五脏俱全,包括了:

  1. 分布式文件系统HDFS
  2. 分布式数据库hbase,mongodb,kudu
  3. 分布式内存文件系统alluxio
  4. 用于多维分析的druid
  5. 实时流计算系统storm

正所谓,覆巢之下,安有完卵。这些产品虽然好用,但是却给诸葛建国带来了很多烦恼。为了安装软件,他要重复重复再重复的登录一台又一台的服务器;为了修改某个参数,他又要重复重复再重复的登录一台又一台的服务器;为了监控服务的运行状态,他要不择手段的查看服务的端口或者进程;为了启动某个挂掉的服务,他要记住那些诘屈聱牙晦涩难懂的linux命令。更让他细思极恐的是,如果某个底层服务中节点发生了增减或者迁移,所有依赖这个服务的服务都要修改配置并重新启动。所以这一段时间以来,诸葛建国殚精竭虑,夙夜忧叹,觉得自己搞大数据真是自寻死路,恨不得举身赴清池,自挂东南枝。

虽然他掌握了同时操作多台服务器的技巧,然而人心不足蛇吞象,诸葛建国欲壑难填得陇望蜀,他迫切的希望有产品能釜底抽薪,一劳永逸的解决他的问题。

他希望有一款产品能一站式管理大数据平台

管理多种服务

能全程图形化安装

图形化安装

能自动处理好服务中错综复杂的关系

自定义角色

能一键修改服务参数

修改参数

能一键执行他永远记不住的linux命令

一键执行命令

还好他的同事夏侯富贵给了诸葛建国一个提示。既然诸葛建国已经使用了cloudera来管理大数据组件,完全可以再次扩展cloudera manager,让它管理更多的分布式系统。

项目地址是https://github.com/kabike/jdt-csd

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大神带我来搬砖

做大数据再不用提心吊胆了!

前几天,家住北京市朝阳区的程序员诸葛建国非常郁闷,他突然接到客户电话,说公司网站没法正常工作了,登上服务器一看,他大吃了一惊——服务器的硬盘满了!! 当时诸葛...

2796
来自专栏Java架构师历程

6、选择部署策略

本书主要介绍关于如何使用微服务构建应用程序,这是本书的第六章。第一章介绍了微服务架构模式,讨论了使用微服务的优点与缺点。之后的章节讨论了微服务架构的方方面面:使...

1123
来自专栏大魏分享(微信公众号:david-share)

云应用部署方式的未来方向!

前言 本文主要介绍在Openshift PaaS平台上,部署应用的几种方式。 本文在书写过程中,在得到授权的前提下,笔者纳入了我前同事--王建的研究报告。谨借此...

3588
来自专栏杨建荣的学习笔记

Oracle数据库端口突然无法访问的分析(r12笔记第46天)

最近碰到一个蛮有启发意义的案例。是数据库监听相关的,但是实际的原因却又出乎意料。 问题的反馈受益于开发同学,一个开发同学在lync上找到我,说现在一个线上业...

3486
来自专栏CSDN技术头条

XEN、VMware ESXi、Hyper-V以及KVM架构解析

XEN 有简化虚拟模式,不需要设备驱动,能够保证每个虚拟用户系统相互独立,依赖于 service domains 来完成一些功能; Vmware ESXI 与 ...

53210
来自专栏gaoqin31

Linux例行性工作排程 (crontab)

crontab是Unix和Linux用于设置周期性被执行的指令,是互联网很常用的技术,很多任务都会设置在crontab循环执行,如果不使用crontab,那么任...

693
来自专栏Netkiller

Shell 历史记录异地留痕审计与监控

Shell 历史记录异地留痕审计与监控 摘要 我的系列文档 编程语言 Netkiller Architect 手札Netkiller Developer 手札N...

2584
来自专栏杨建荣的学习笔记

Oracle数据库重启后密码失效的问题(r12笔记第91天)

前几天,我和系统运维的同事处理一个看似诡异的问题,他找到我说应用服务器启动的时候报了DB的Error,但是错误信息有限,他也没法完全定位到错误的原因,所以就希...

2944
来自专栏海天一树

Python实现聊天机器人

AIML全名为Artificial Intelligence Markup Language(人工智能标记语言),是一种创建自然语言软件代理的XML语言,是由R...

1203
来自专栏区块链入门

第10课 EOS常见命令及样例演示

【本文目标】 本文列出经常EOS环境经常会使用的命令格式以及样例,作为EOS命令的快速查找手册。 不管是EOS的命令行帮助说明还是命令行参考文档,对参数的引...

691

扫码关注云+社区