专栏首页数据饕餮基于Hadoop开发网络云盘系统架构设计方案第一稿

基于Hadoop开发网络云盘系统架构设计方案第一稿

引言

  云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。

一、总体架构

二、方案说明

2.1 系统切分

  从用户角度,整个系统划分为ECDisk客户端、ECDisk运营管理平台、HDFS分布式文件存储集群和账户数据应用平台四部分。

2.2 功能需求

  文件管理:浏览、文件上传、文件下载、文件删除

  用户管理:用户注册、用户登录、用户注销、账户充值、账户查询  

三、技术选型

  3.1 HDFS服务接口

  考虑到客户端开发环境为VC++2010,HDFS客户端API采用Hadoop自身提供的Thrift接口。

  3.2 用户数据库

  用户数据库存储用户的账户信息,保留在MySQL数据库中。

  3.3 内存数据库

  为提高用户账户信息访问速度,所有当前在线用户(已登录)的账户数据都缓存到内存数据库中,内存数据库选用基于Erlang实现的Menisa。

四、设计原则

  4.1 隐藏暴露原则

  面向ECDisk用户只能直接访问用户数据应用服务器,HDFS服务器资源用户登录后,由用户数据服务器返回给ECDisk客户端。

  4.2 授权原则

  ECDisk终端用户只能访问授权用户设定的空间,超出空间限制不允许访问。

五、界面原型

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一个自来水公司的业务集成-数据库与Restful API的对接:构建以API为中心的敏捷集成系列-第三篇

    CoolWater Inc.是一家当地的自来水公司,客户需要实施支付管理系统,目的是为客户提供便捷的在线水费支付界面。

    魏新宇
  • MySQL探秘(六):InnoDB一致性非锁定读

     一致性非锁定读(consistent nonlocking read)是指InnoDB存储引擎通过多版本控制(MVVC)读取当前数据库中行数据的方式。如果读取...

    aoho求索
  • 数据库三范式

    版权声明:本文为博主原创文章,欢迎扩散,扩散请务必注明出处。

    Leshami
  • 2018-11-23 当我们输入一条 SQL 查询语句时,发生了什么?

    我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题。同样,对于 MySQL 的学习也是这样。平时我们使用数据库,看...

    Albert陈凯
  • MySQL 从零开始:08 番外:随机生成数据库数据

    1、网页版:Generatedata1.1 预览1.2 功能介绍1.2.1 自定义数据集名称1.2.2 选择城市1.2.3 数据集1.2.4 导出类型1.2.5...

    王强
  • 抢红包案例分析以及代码实现(四)

    对于使用 Redis实现抢红包,首先需要知道的是Redis的功能不如数据库强大,事务也不是很完整.因此要保证数据的正确性数据的正确性可以通过严格的验证得以保证。

    Java团长
  • Iptables之recent模块小结

    Iptables的recent模块用于限制一段时间内的连接数, 是谨防大量请求攻击的必杀绝技! 善加利用该模块可充分保证服务器安全。

    洗尽了浮华
  • 哪些是数据库智能化运维必踩的坑?

    内容来源:2018 年 11 月 10 日,SOUG联合创始人周亮在“2018 SOUG年度数据库技术峰会”进行《Oracle AI 性能优化指南探讨》的演讲分...

    IT大咖说
  • 2018-11-23 数据引擎排名,2018年11月数据库趋势图

    实时数据 https://db-engines.com/en/ranking_trend

    Albert陈凯
  • MongoDB技术分享:WiredTiger存储引擎

    内容来源:2018 年 10 月 27 日,MongoDB中文社区联席主席郭远威在“2018年MongoDB中文社区 广州大会”进行《WiredTiger存储引...

    IT大咖说

扫码关注云+社区

领取腾讯云代金券