云计算如何帮助大数据快速完成基础架构?

  • 回答 (8)
  • 关注 (0)
  • 查看 (442)

突然看到一篇关于混合云大数据的文章,那么云计算如何助力大数据快速完成基础架构呢?

云计算又如何影响大数据的快速开发和项目落地?有哪些东西可以直接搬到云计算进行?

斌521斌521提问于
独孤求婚windy机器学习回答于

首先题主这个问题设计到很多框架类的东西:

在腾讯云上的基础架构服务就有:

数据处理套件TBDS-可以按需部署大数据处理服务实现数据处理需求,例如报表展示,数据提取、分析,客户画像等大数据应用。

弹性MapReduce-提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据。

数据工坊TDF-适合于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库应用的场景。

云推荐引擎CRE-提供安全、便捷、精准、可靠的推荐系统服务,适用于兴趣推荐、相关推荐、社会化推荐和位置推荐等多种推荐场景,帮助您提升业务的用户体验和点击转化率。

DI-P实时多维分析引擎-可以在无需预构建数据立方的情况下通过 SQL 语句对千亿级数据进行毫秒级的无限制上卷、下钻、切片、切块、旋转等分析操作,以快速洞察海量数据价值。

  • 多维分析引擎 基于Apache Kylin开源分布式分析引擎,为用户提供基于Hbase存储的数据Cube预建模及百亿行规模的SQL数据分析能力,满足企业级用户面向部门的数据集市建设需求。
  • 交互式数据探索 采用列存储技术、万维标签查询处理技术为用户提供实时的多维交互式SQL查询、统计、分析系统,支撑万级维度、千亿级规模下的秒级数据统计分析需求,支持数据离线导入及在线数据实时接入。
  • 分布式数据库 支持核心SQL 2003标准的分布式关系数据库,完全兼容PostgreSQL的SQL语法,支持主键、触发器、约束、函数、存储过程、跨节点join等绝大部分的SQL特性。 同时满足百T级数据规模的OLTP和OLAP应用场景。 单机20000TPS,支持服务器在线扩容,扩容后性能表现接近线性扩展。 内核级支持数据库分库分表,分库分表逻辑对业务完全透明化,简化业务的数据访问逻辑。 内核级支持冷热数据分治,业务无需感知底层存储介质的差异,对外提供统一的数据库视图,可有效降低服务器硬件成本。 可选多份数据热备,保障系统高可用,故障秒级切换。
  • 敏捷报表门户 可视化数据源配置,可视化自助创建报表门户,轻松把握业务脉搏,助力企业决策。 数据内容的可视化配置推送,支持邮件、微信渠道报表定向推送。 内置十余种图表模板,表格、曲线图、柱状图、饼图、雷达图等主流图表模板一应囊括。
  • 机器学习 集成Spark、Python、R、XGBoost等四种机器学习框架,支持图计算和深度学习。 内置分类、回归、聚类、关联规则等60余种丰富算法。 可视化的Web拖拽式机器学习任务流开发。 支持团队协作开发。

啧啧啧啧~还是超级强大的~

帅的惊动我国计算机大神回答于

数据常和云计算联系到一起。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。 两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是只是摆设。

大数据存储要求实现存储虚拟化。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯回答于

其实楼上的一些应该就是最基础的功能套件了把:

其实个人更加看中的云计算的可扩展性和便捷性。

云计算的基础架构类似于这样

云基础架构在传统基础架构计算、存储、网络硬件层的基础上,增加了虚拟化层、云层:

虚拟化层:大多数云基础架构都广泛采用虚拟化技术,包括计算虚拟化、存储虚拟化、网络虚拟化等。

通过虚拟化层,屏蔽了硬件层自身的差异和复杂度,向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化

资源池; 云层:对资源池进行调配、组合,根据应用系统的需要自动生成、扩展所需的硬件资源,将更多的应用系统通过流程化、自动化部署和管理,提升IT效率。

相对于传统基础架构,云基础架构通过虚拟化整合与自动化,应用系统共享基础架构资源池,实现高利用率、高可用性、低成本、低能耗,并且通过云平台层的自动化管理,实现快速部署、易于扩展、智能管理,帮助用户构建IaaS(基础架构即服务)云业务模式。

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 大数据需要特殊的技术,以有效地处理大量的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

jackymaple资深互联网架构师、软件开发工程师回答于

建议题主去看看RayData

腾讯云的终极大数据套件基于数据实时渲染技术,利用各种技术从大规模数据通过本系统,实现云数据实时图形可视化、场景化以及实时交互~

angygao当时不杂回答于

值得一提的是大数据在云存储方面的作用:

COS无论用户存储的是医疗或财务方面的数据还是照片和音视频之类的多媒体文件,都可以作为数据源进行大数据分析。对象存储支持存储 EB 级别非结构化数据,高可用、高可靠、高安全和可扩展性,结合使用腾讯云大数据套件,快速构建和部署分析应用程序。在高性能计算需求完成后,可以将数据转换为归档存储,降低服务使用成本,以便长期存储数据。

Rom_z全职程序员,喜欢围棋回答于

云计算的可扩展性和适合大数据的发展壮大。

极客说

腾讯 · 产品运营 (已认证)

腾讯云+社区沙龙,大咖云集,精英汇聚,共享技术新知识回答于

极客说将于29日晚19点,邀请了来自腾讯云的大数据基础产品负责人给大家分享“实时流处理平台的实践分享”。欢迎报名预约哦!https://cloud.tencent.com/developer/salon/live-1083

真假二十一很喜欢腾讯云!回答于

云计算的各个优点都可以帮助大数据迅速完成基础架构,比如:灵活性、弹性、高可用性等等

扫码关注云+社区

领取腾讯云代金券